Chunqi SHI & Jonah BU
66天写的逻辑回归
The Logistic Regression Written in 66 Days
June 3, 2016
Springer
Preface
腉 腫腮腯腷 腯腮腥 腴腨腩腮腧脺 腴腨腡腴 腉 腫腮腯腷 腮腯腴腨腩腮腧脡 ˜ 腓腯腣腲腡腴腩腣 腰腡腲腡腤腯腸
逻辑回归号称实业界用的最广的机器学习算法之一。本文试图分成两大部
分进行表述：
脱脮 知篇：知为本，知则有亲，有亲可久。
• 第腉部分脺 逻辑回归简介
• 第腉腉部分脺 广义线性模型
• 第腉腉腉部分脺 最小结构风险
• 第腉腖部分脺 腓腯腦腴腭腡腸回归
• 第腖部分脺 最大熵模型
• 第腖腉部分脺 利用熵来解释腇腌腍脬腍腡腸腅腮腴脬腍腌腅
• 第腖腉腉部分脺 逻辑腐腃腁扩展
脲脮 用篇：用为体，用而有功，有功则大。
• 第??部分脺 对比常见算法脨腓腖腍脬腎腂脬腌腄腁脩
• 第??部分脺 优化求解
• 第??部分脺 并行架构
我们计划先发布知篇，在收集反馈修改后再发布用篇。从计划动笔到现在我
们一起伏案二个多月，因此这个版本我们命名为《脶脶天写の逻辑回归》。
、
腶
Contents
Part I 逻逻逻辑辑辑回回回归归归(LR)简简简介介介
1 Logisitic回回回归归归 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳
脱脮脱 对二值条件概率建模 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳
脱脮脲 腌腯腧腩腳腴腩腣回归 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴
Part II 从从从广广广义义义线线线性性性模模模型型型(GLM)出出出发发发
2 广广广义义义线线线性性性模模模型型型 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脹
脲脮脱 引入广义线性模型 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脹
脲脮脲 深入理解广义线性模型 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脱脰
Part III 结结结构构构风风风险险险最最最小小小(SRM)的的的视视视角角角
3 结结结构构构风风风险险险最最最小小小(SRM) 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脱脷
脳脮脱 什么是经验风险最小脨腅腒腍脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脱脷
脳脮脲 从经验风险到结构风险 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脱脹
脳脮脲脮脱 直观上如何看待腓腒腍 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脲脱
脳脮脲脮脲 贝叶斯观点来看腓腒腍 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脲脲
脳脮脲脮脳 L
2
正则化与L
1
正则化 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脲脳
4 正正正则则则化化化(Regularization) 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脲脹
脴脮脱 分类算法的损失函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脲脹
脴脮脲 分类界限 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脱
脴脮脳 逻辑回归的过拟合与正则化 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脳
Part IV 从从从两两两类类类(Bi-Class)到到到多多多类类类(Multi-Class)
5 从从从二二二项项项(Binomial)分分分布布布到到到多多多项项项(Multinominal)分分分布布布 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脹
脵脮脱 抛硬币脨腃腯腩腮 腔腯腳腳脩和掷骰子脨腄腩腣腥脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脹
脵脮脱脮脱 伯努力脨腂腥腲腮腯腵腬腬腩脩分布 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脹
腶腩腩
腶腩腩腩 腃腯腮腴腥腮腴腳
脵脮脱脮脲 二项脨腂腩腮腯腭腩腡腬脩分布 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脳脹
脵脮脱脮脳 多项脨腍腵腬腴腩腮腯腭腩腮腡腬脩分布 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脰
6 从从从二二二项项项回回回归归归(Binomial Regression)到到到多多多项项项回回回归归归(Multinominal
Regression) 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脱
脶脮脱 腇腌腍模型的解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脱
脶脮脲 软最大脨腓腯腦腴腭腡腸脩回归 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脳
脶脮脲脮脱 软最大脨腓腯腦腴腭腡腸脩函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脳
脶脮脲脮脲 软最大脨腓腯腦腴腭腡腸脩回归的解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脳
Part V 最最最大大大熵熵熵(MaxEnt)
7 最最最大大大熵熵熵原原原理理理和和和逻逻逻辑辑辑回回回归归归 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脷
脷脮脱 最大熵原理脨腐腲腩腮腣腩腰腬腥 腯腦 腍腡腸腩腭腵腭 腅腮腴腲腯腰腹脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脷
脷脮脲 最大熵原理与腌腯腧腩腳腴腩腣回归的等价性 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脴脸
脷脮脳 腌腯腧脭腌腩腮腥腡腲模型 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脵脰
Part VI 从从从熵熵熵(Entropy)解解解释释释GLM, MaxEnt, MLE
8 来来来自自自熵熵熵(Entropy)的的的解解解释释释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脵脵
脸脮脱 对信息熵的理解 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脵脵
脸脮脱脮脱 不确定性公理化解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脵脵
脸脮脱脮脲 期望编码长度解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脵脸
脸脮脲 最大信息熵原则 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脰
脸脮脲脮脱 最大熵解释原则的直观理解 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脰
脸脮脲脮脲 自然指数簇的最大熵解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脲
脸脮脲脮脳 最大似然估计的最大熵解释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脴
Part VII Logistic PCA
9 Logistic PCA 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脹
脹脮脱 主成份分析脨腐腃腁脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脹
脹脮脱脮脱 最大方差投影 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脶脹
脹脮脱脮脲 最小重建误差 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脰
脹脮脱脮脳 高斯随机采样 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脱
脹脮脲 腐腃腁在指数分布族上的推广 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脲
脹脮脲脮脱 自然指数分布族 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脲
脹脮脲脮脲 腂腲腥腧腭腡腮散度 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脳
脹脮脲脮脳 腐腃腁在指数分布族上的推广脨腐腃腁 腦腯腲 腴腨腥 腅腸腰腯腮腥腮腴腩腡腬
腆腡腭腩腬腹脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脴
A Logisitic回回回归归归 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脹
腁脮脱 腓腩腧腭腯腩腤函数脬 腌腯腧腩腳腴腩腣函数和腌腯腧腩腴函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脹
腁脮脱脮脱 腓腩腧腭腯腩腤函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脹
腁脮脱脮脲 腌腯腧腩腳腴腩腣函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脷脹
腁脮脱脮脳 腌腯腧腩腴函数 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脰
腃腯腮腴腥腮腴腳 腩腸
B 广广广义义义线线线性性性模模模型型型 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脱
腂脮脱 指数函数簇补充 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脱
腂脮脱脮脱 一般指数函数簇脨腇腅腆脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脱
腂脮脱脮脲 自然指数函数簇脨腎腅腆脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脱
腂脮脱脮脳 均值自然指数函数簇脨腍腖腎腆脩 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脲
C 来来来自自自熵熵熵(Entropy)的的的解解解释释释 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脳
腃脮脱 信息熵的由来 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脮 脸脳
腸 腃腯腮腴腥腮腴腳
主主主要要要符符符号号号表表表
符符符号号号 含含含义义义
x 标量
x 向量
x 变量集合
A 矩阵
X 样本空间或状态空间
D 概率分布
σ
2
方差
Σ 协方差
D 数据样本脨数据集脩
H 假设空间
H 假设集
L 学习算法
P 脨·脩脬 P 脨·|·脩 概率质量函数，条件概率质量函数
p脨·脩脬 p脨·|·脩 概率密度函数，条件概率密度函数
E
·∼D
腛f脨·脩腝 函数f脨·脩在分布D下的数学期望
V ar
·∼D
腛f脨·脩腝 函数f脨·脩在分布D下的方差
L脨θ脩 损失函数
L脨θ|x 脩 脽 P 脨x |θ脩 似然脨腌腩腫腥腬腩腨腯腯腤脩函数
`脨θ脩 Log似然函数
I脨A脩 腯腲 I
A
脨x 脩 指示函数
k · k
p
L
p
范数，p缺省时为L
2
范数
∇ 向量的一次导数
∇
2
二次导数的腈腥腳腳腩腡腮矩阵
H 脰 矩阵H半正定脨腐腓腄脩
A 脰 矩阵A正定脨腐腄脩
H脨X脩 腯腲 H脨p脩 数据集X概率分布p脨X脩的熵
I脨X脻 Y 脩 数据集X与Y 的互信息
KL脨pkq脩 概率分布p与q的腋腌散度
腡腲腧 腭腩腮 腡腲腧 腭腩腮
x
f脨x脩 脽 {x | f脨x脩 脽 腭腩腮
x
0
f脨x
0
脩}
腡腲腧 腭腡腸 腡腲腧 腭腡腸
x
f脨x脩 脽 {x | f脨x脩 脽 腭腡腸
x
0
f脨x
0
脩}
Part I
逻逻逻辑辑辑回回回归归归(LR)简简简介介介
Chapter 1
Logisitic回回回归归归
1.1 对对对二二二值值值条条条件件件概概概率率率建建建模模模
首先简单的回 忆一下每个人都熟知的线性回归。线性回归做了一件什么事情
呢？线性回归估算的是一个连续变量的条件期望脨腃腯腮腤腩腴腩腯腮腡腬 腅腸腰腥腣腴腡腴腩腯腮脩脺
E脨Y 脩 脽 θ
T
x 脫 b
那如果我们感兴趣的对 象不再是一个连续的数值，且只有二值化的输出 时 ，
例如气象中心预测明天是否下雨，医生预测患者会不会发病，大学生评估自
己是否会挂科等等，我们该如何对其进行建模和分析呢？
这种问题通常被称为分类问题脨腃腬腡腳腳腩脌腣腡腴腩腯腮脩。一种解决方 案是制定 一条
条规则脨腒腵腬腥脩， 例如决策树或者知识库，然后把输入 数 据与规则进行比对，
经过若干次判断之后得到一个确定的结果。然而现实世界的经验告诉我们，
对于大多数情况，完全相同的条件并不一定 能够导 致完全相同的结果，也许
是因为噪声的 存 在，也许是因为条件的描述还不够准确，也许是因为事 情本
身就是随机的 。因此，我们希望在给出预测结果的同时还能给出一个该 结果
发生的概率，比如你挂科的概率达到了脹脰脥。
现在我们期望的输出是，给定 输入X之后Y 发生的概率P r脨Y |X脩。现在我
们约定 ，Y 的取值有两类脨腂腩脭腃腬腡腳腳腥脩，腜脱脢和腜脰脢。而Pr脨Y 脽 脱脩 脽 E脨Y 脩。
定 义了输入和输出，剩下的就是寻 找一个回归函数脨腒腥腧腲腥腳腳腩腯腮 腆腵腮腣腴腩腯腮脩来
进行拟合了。拟合出来的结果就是我们想要的条件概率函数脨腃腯腮腤腩腴腩腯腮腡腬
腐腲腯腢腡腢腩腬腩腴腹 腆腵腮腣腴腩腯腮脩。
令P r脨Y 脽 脱|X 脽 x 脩 脽 p脨x 脻 θ脩，其中p是以θ为参数 的函数 。假设样
本x
i
之间相互独立，则似然函数脨likelihood function脩为：
n
Y
i=1
P r脨Y 脽 y
i
|X 脽 x
i
脩 脽
n
Y
i=1
p脨x
i
脻 θ脩
y
i
脨脱 − p脨x
i
脻 θ脩脩
1−y
i
脨脱脮脱脩
观察上式会发现，如果所有的样本x
i
都相同，即每次试验的条件都相同时 ，
每次的概率函数p脨x 脻 θ脩都为同一个值p，则腬腩腫腥腬腩腨腯腯腤 变为：
脳
脴 脱 腌腯腧腩腳腩腴腩腣回归
n
Y
i=1
p
y
i
脨脱 − p脩
1−y
i
这是一个伯努利试验脨腂腥腲腮腯腵腬腬腩 腴腲腩腡腬脩结果的似然函数。
回过头来观察p脨x 脻 θ脩，直观上我们对它 有如下要求：相同的样本x
i
下Y 的
概率应该相同；相近的样本x
i
下Y 的概率应该相近。找到一个合适的p函 数
之后我们可以通过极大似然估计脨maximum likelihood estimation脩来估计参
数θ。
1.2 Logistic回回回归归归
现在我们已经定 义了二值输出Y ，我们希望建立一个关于观察 样本x的函
数，该函数 的输出是Y 的条件概率P r脨Y 脽 脱|X 脽 x 脩，而建模的方 法是线线线性性性
回回回归归归。
样本x 的线性函数脨腬腩腮腥腡腲 腦腵腮腣腴腩腯腮脩的值域是脨−∞, 脫∞脩，而我们期望的
输出p是一个概率 ，其值域是腛脰, 脱腝，二者不匹配，因此我们需要对p进行
一下变换，才能继续使用线性回归。那腬腯腧 p呢？腬腯腧函数 在腛脰, 脱腝上的值域
是腛−∞, 脰腝，还是有一半不匹配。腬腯腧函数 在腛脰, 脫∞脩上的值域才是我们需要
的脨−∞, 脫∞脩，那我们考虑对p进行一点点变换，使得变换之后的函数 值域
为腛脰, 脫∞脩，而我们发现
p
1−p
满足这个要求。好吧，最终我们找到的变换
是腬腯腧
p
1−p
脨该变换称为腬腯腧腩腳腴腩腣或腬腯腧腩腴变换脩，其值域是脨−∞, 脫∞脩。现在可以
使用我们熟悉的线性回 归进行拟合了。这种对线性回归的输出进行腬腯腧腩腳腴腩腣变
换的回归称为logistic回回回归归归。
于是有：
腬腯腧
p脨x 脻 θ脩
脱 − p脨x 脻 θ脩
脽 θx 脨脱脮脲脩
求解p脨x 脻 θ脩可得：
p脨x 脻 θ脩 脽
脱
脱 脫 e
−(θx )
脨脱脮脳脩
这就是我们所熟知的腬腯腧腩腳腴腩腣回归的形式。
注意，
p
1−p
正好是腯腤腤腳的定义，而腬腯腧
p
1−p
就是腬腯腧 腯腤腤腳。腯腤腤腳的意义我们
将在附录中讨论。
下面的任务就是使用上一节最后提到的极大似然估计进行求解。
利用脨脱脮脱脩式得到腬腩腫腥腬腩腨腯腯腤：
L脨θ脩 脽
n
Y
i=1
p脨x
i
脻 θ脩
y
i
脨脱 − p脨x
i
脻 θ脩脩
1−y
i
脨脱脮脴脩
对腬腩腫腥腬腩腨腯腯腤取腬腯腧，把乘积变成求和，则腬腯腧脭腬腩腫腥腬腩腨腯腯腤为：
脱脮脲 腌腯腧腩腳腴腩腣回归 脵
`脨θ脩 脽
n
X
i=1
y
i
腬腯腧 p脨x
i
脻 θ脩 脫 脨脱 − y
i
脩 腬腯腧脨脱 − p脨x
i
脻 θ脩脩 脨脱脮脵脩
脽
n
X
i=1
腬腯腧脨脱 − p脨x
i
脻 θ脩脩 脫
n
X
i=1
y
i
腬腯腧
p脨x
i
脻 θ脩
脱 − p脨x
i
脻 θ脩
脨脱脮脶脩
脽
n
X
i=1
腬腯腧脨脱 − p脨x
i
脻 θ脩脩 脫
n
X
i=1
y
i
θx
i
脨脱脮脷脩
脽
n
X
i=1
−腬腯腧脨脱 脫 e
θx
i
脩 脫
n
X
i=1
y
i
θx
i
脨脱脮脸脩
脨脱脮脶脩到脨脱脮脷脩使用了公式脨脱脮脲脩腬腯腧
p(x ;θ)
1−p(x ;θ)
脽 θx ，脨脱脮脷脩到脨脱脮脸脩使用了公式脨脱脮脳脩
p脨x 脻 θ脩 脽
1
1+e
−(θx )
。
我 们希望求得腬腩腫腥腬腩腨腯腯腤的最大值，因此将腬腯腧脭腬腩腫腥腬腩腨腯腯腤对 参数θ的每一个
分量θ
i
求导，并令其等于脰：
∂`
∂θ
i
脽 −
n
X
i=1
脱
脱 脫 e
θx
i
e
θx
i
x
ij
脫
n
X
i=1
y
i
x
ij
脨脱脮脹脩
脽
n
X
i=1
脨y
i
− p脨x
i
脻 θ脩脩x
ij
脨脱脮脱脰脩
其中x
ij
表示样本x
i
的第j个分量。
令脨脱脮脱脰脩等于脰得到的方 程没有解析解脨闭合解，腣腬腯腳腥腤脭腦腯腲腭 腳腯腬腵腴腩腯腮脩，我
们可以使用梯度下降脨Gradient Descent脩或牛顿法脨Newton Method 脩等算法进
行数值求解，该部分内容将在以后进行介绍。
Part II
从从从广广广义义义线线线性性性模模模型型型(GLM)出出出发发发
Chapter 2
广广广义义义线线线性性性模模模型型型
2.1 引引引入入入广广广义义义线线线性性性模模模型型型
首先我们利用上一章中从线性回归推出腌腯腧腩腳腩腴腣回归的思想类比出广义线性
回归的思想，然后给出正式的解释。
从线性回归到腌腯腧腩腳腴腩腣回归，我们主要做了一件事情：由于我们希望的输
出y的值域与线性回归拟合出来的θ
T
x 的值域不匹配，于是对y进行了一次变
换得到关于y的函数脨记为g脨y脩脩，使得g脨y脩的值域为脨−∞, 脫∞脩，这样就可以
使用线性回归得到g脨y脩 脽 θ
T
x 。
在腌腯腧腩腳腴腩腣回归中，我们面对的是一个两类问题，希望拟合的输出y是给定
输入x 后事件发生 的概率，即Pr脨Y 脽 脱|X 脽 x 脩，因此我们选择的变换函
数g脨y脩为腬腯腧
y
1−y
。那么一个自然的想法是，如 果面对 的问题不同，希望的输
出不同，例如可以是计数脨某件事情发生了多少次脩，可以是可靠性等等，是
否可以选择不同的变换函数g脨y脩？答案是：可以，你需要广义线性模型。
广义线性模型脨Generalized Linear Model脬 GLM 脩由三部分组成：
脱脮 随机成分脨腒腡腮腤腯腭 腃腯腭腰腯腮腥腮腴脩：定 义了输出变量y
i
在给定 输入变量x
i
时
的条件分布脨腃腯腮腤腩腴腩腯腮腡腬 腄腩腳腴腲腩腢腵腴腩腯腮脩。一般情况下，我们接触到的分
布都属于指数 分布族脨Exponential Families脩，例如高斯 分布脨腇腡腵腳腳腩腡腮 腯腲
腎腯腲腭腡腬脩，二项分布脨腂腩腮腯腭腩腡腬脩，泊松分布脨腐腯腩腳腳腯腮脩，伽玛分布脨腇腡腭腭腡脩等。
现在腇腌腍已经拓展至多变量指数 分布族脨腍腵腬腴腩腶腡腲腩腡腴腥 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩脭
腬腩腥腳脩，非指数 分布 族脨腎腯腮脭腥腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腩腥腳脩，甚至y
i
的分布未 完 全 定
义的情况。这部分内容将在附录中进行讨论。
脲脮 线型预测器脨Linear Predictor 脩：即线型回归部分
η
i
脽 θ
T
x
i
脽 θ
0
脫 θ
1
x
i1
脫 θ
2
x
i2
脫 ··· 脫 θ
m
x
im
这就是腇腌腍中的线性部分。
脳脮 链接函数脨Link Function脩：一个光滑脨腳腭腯腯腴腨脩且可逆脨腩腮腶腥腲腴腩腢腬腥脩的函数g脨·脩，
对 期望的输出E脨y
i
脩进行变换，使得变换后的g脨E脨y
i
脩脩与现行预测器相匹
配。记µ
i
脽 E脨y
i
脩，则
脹
脱脰 脲 广义线性模型
g脨µ
i
脩 脽 η
i
脽 θ
0
脫 θ
1
x
i1
脫 θ
2
x
i2
脫 ··· 脫 θ
m
x
im
在腌腯腧腩腳腴腩腣回归中，我们选取的链接函数即腌腯腧腩腳腴腩腣变换。
所以广义线性模型可以看作是期期期望望望输输输出出出变变变换换换后后后的的的线线线性性性模模模型型型(Linear Model)，
或者是期期期望望望输输输出出出的的的非非非线线线性性性模模模型型型(Non-linear Model)。
现在回 过 头 来 再 看腌腯腧腩腳腴腩腣回 归。腌腒中的线性预测器就 是 线 性 回 归部
分θ
T
x ，链接函数 即腌腯腧腩腳腴腩腣函数腬腯腧
y
1−y
，那腌腒中的随机成分是什么呢？
我们知道腇腌腍中的随机成分指的是给定输入x
i
之后期望输出µ
i
所服从的条件
分布。腌腒的输出µ
i
的意义是给定 输入x 后事件发生的概率，即n 次独立重复
实验中事件发生的概率，就是二项分布脨腂腩腮腯腭腩腡腬 腄腩腳腴腲腩腢腵腴腩腯腮脩。
现在的问题是，我们已经知道目标期望输出服从二项分布，那使用什
么东西来把线型预测器θ
T
x 拟合出来的结果约束到二项分布中呢？答案
就是链接函数 。在腌腯腧腩腳腴腩腣回归中，当我们选择了腌腯腧腩腳腴腩腣函数 作为链接函
数 对 期望输出进行变换时脨或者说选择了腓腩腧腭腯腩腤函数 对 线型预测器拟合出
来的结果进行变换时脩，最终得到的期望输出就会腜自然而然脢地服从二项分
布。所以在腇腌腍看来，正确的顺序是：确定 期望输出服从二项分布−→选
择腌腯腧腩腳腴腩腣函数作为链接函数−→使用线性预测器进行拟合。
到这里，只剩下一个问题了：为什么链接函数 可以影响腇腌腍中的随机成
分，进而决定了期望输出的条件分布？我们将在下一节中进行推导和解答。
2.2 深深深入入入理理理解解解广广广义义义线线线性性性模模模型型型
上一节中在介绍腇腌腍三个组成部分中的随机成分时 有提到，一般情况下，
我们遇到分布大属于指数 分布族 ，例如腌腯腧腩腳腴腩腣回归里的二项分布。下面我
们首先正式介绍指数分布族。
统计学 里许多重要的分布都属于指数分布族 ，它们都可以表示成如下通
式：
p脨y脻 θ, φ脩 脽 腥腸腰腛
yθ − b脨θ脩
a脨φ脩
脫 c脨y, φ脩腝 脨脲脮脱脩
其中：
• p脨y脻 θ, φ脩是随机变量Y 的概率函数脨Y 离散脩或概率密度函数脨Y 连续脩。
• a脨·脩，b脨·脩和c脨·脩是三个函数，不同的分布中这三个函数也不同。
• θ是一个未知参数 ，称为标准参数脨Canonical Parameter 脩，该参数 具有关
系θ 脽 g
c
脨µ脩，其中g
c
脨·脩是标准链接函数脨Canonical Link Function脩，µ表
示随机变量Y 的期望E脨Y 脩。
• φ称为分散 参数脨Dispersion Parameter 脩，该参数 具有关系φ > 脰，在某些
分布中已 知且固定，在其 他分布中未知，需要与标准参数θ一起进行参数
估计。
下面介绍指数分布族 表示为通式脨脲脮脱脩后的两个重要性质。一般情况下面
对 一个分布，我们最关心的两个量是服从该分布的随机变量Y 的均值µ和方
差V ar脨Y 脩。关于均值和方差，指数分布族的通式表示具有如下性质：
脲脮脲 深入理解广义线性模型 脱脱
µ 脽 b
0
脨θ脩 脨脲脮脲脩
V ar脨Y 脩 脽 a脨φ脩b
00
脨θ脩 脨脲脮脳脩
接下来我们首 先简要地证明这两个性质，然后回答上一节所遗留的最后一个
问题：为为为什什什么么么链链链接接接函函函数数数 可可可以以以影影影响响响GLM中中中的的的随随随机机机成成成分分分，，，进进进而而而决决决定定定 了了了期期期望望望输输输
出出出的的的条条条件件件分分分布布布？？？
首先引入两个概念：动差生成函数脨Moment Generating Function脩和累积
量生成函数脨Cumulant Generating Function脩。动差，腭腯腭腥腮腴，就是腜矩估
计脢中的腜矩脢。动差生成函数的定义为：
M
X
脨t脩 脽 Ee
tX
脨脲脮脴脩
将M
X
脨t脩对t求导脨并交换期望和微分脩可以得到：
d
dt
M
X
脨t脩 脽 EXe
tX
d
dt
2
M
X
脨t脩 脽 EX
2
e
tX
脮
脮
脮
d
dt
k
M
X
脨t脩 脽 EX
k
e
tX
上面几个式子在t 脽 脰点的值分别为：
d
dt
M
X
脨脰脩 脽 EX
d
dt
2
M
X
脨脰脩 脽 EX
2
脮
脮
脮
d
dt
k
M
X
脨脰脩 脽 EX
k
因此通过脨脲脮脴脩式可以得到不同阶的矩脨动差脩，所以称其为动差生成函 数 。紧
接着继续介绍累积量生成函数，该函数定义为动差生成函数取腬腯腧：
K
X
脨t脩 脽 腬腯腧 M
X
脨t脩 脨脲脮脵脩
类似地，令K
X
脨t脩对t求导可得：
d
dt
K
X
脨t脩 脽
M
0
X
脨t脩
M
X
脨t脩
d
dt
2
K
X
脨t脩 脽
M
X
脨t脩M
00
X
脨t脩 − M
0
X
脨t脩
2
M
X
脨t脩
2
其中M
0
X
脨t脩 脽
d
dt
M
X
脨t脩。同样地，令t 脽 脰可得：
脱脲 脲 广义线性模型
d
dt
K
X
脨脰脩 脽 EX 脽 µ 脨脲脮脶脩
d
dt
2
K
X
脨脰脩 脽 EX
2
− E
2
X 脽 V ar脨X脩 脨脲脮脷脩
其中µ为X的均值，V ar脨X脩为X的方 差。事实 上，如果对K
X
脨t脩在t 脽 脰点进
行泰勒展开脨腔腡腹腬腯腲 腳腥腲腩腥腳 腥腸腰腡腮腳腩腯腮脩可得：
K
X
脨脰脩 脽
∞
X
k=0
脱
k脡
d
k
dt
k
K
X
脨脰脩
其中
d
k
dt
k
K
X
脨脰脩即为随机变量X的k阶累积量。
有了累积量生成函数之后，结合指数分布族的通式脨脲脮脱脩以及累积量生成函
数定义式脨脲脮脵脩可以得到指数分布族的累积量生成函数：
K脨t脩 脽
b脨θ 脫 a脨φ脩t脩 − b脨θ脩
a脨φ脩
脨脲脮脸脩
上式对t求导并令t 脽 脰得到：
K
0
脨t脩 脽
b
0
脨θ 脫 a脨φ脩脩a脨φ脩t
a脨φ脩
脽 b
0
脨θ 脫 a脨φ脩t脩a脨φ脩 脽 b
0
脨θ脩
K
00
脨t脩 脽 b
00
脨θ 脫 a脨φ脩t脩a
2
脨φ脩 脽 b
0
脨θ脩a脨φ脩
脮
脮
脮
K
(k)
脽 b
(k)
脨θ脩a
k
脨φ脩
其中b
(k)
脨θ脩 脽
d
k
dθ
k
b脨θ脩。再结合式子脨脲脮脶脩和脨脲脮脷脩 可以证明式子脨脲脮脲脩和脨脲脮脳脩。
由脨脲脮脲脩式，以及标准链接函数与标准参数θ的关系θ 脽 g
c
脨µ脩：
b
0
脨θ脩 脽 µ 脽 g
−1
c
脨θ脩 脨脲脮脹脩
上式表 明b
0
脨·脩即为标 准链接函数g
c
脨·脩的逆函 数 。该该该结结结果果果 表表表明明明，，，链链链接接接函函函数数数的的的选选选
择择择将将将会会会直直直接接接影影影响响响期期期望望望输输输出出出所所所服服服从从从的的的分分分布布布。
最后再回过头来看看腌腯腧腩腳腴腩腣回归。我们已经知道期望输出Y 服从二项分
布，而二项分布写成指数分布族通式为
p脨y脻 θ, φ脩 脽 腥腸腰腛
yθ − 腬腯腧脨脱 脫 e
θ
脩
脱/n
脫 腬腯腧
n
ny
腝
其中b脨θ脩 脽 腬腯腧脨脱 脫 e
θ
脩，则标准链接函数g
c
脨µ脩的逆函数为：
g
−1
c
脨θ脩 脽 b
0
脨θ脩 脽
脱
脱 脫 e
−θ
脽 µ
于是二项分布的标准链接函数脨即上式的逆函数脩为
脲脮脲 深入理解广义线性模型 脱脳
g
c
脨µ脩 脽 腬腯腧
θ
脱 − θ
该式就是腬腯腧腩腳腩腴腩腣函数。
所以，从广义线性模 型的角度来看，因为期 望输出服从二项分布， 所以我
们选择腬腯腧腩腳腩腴腩腣函数作为标准链接函数，而这就意味着我们选择了腬腯腧腩腳腴腩腣回
归。
Part III
结结结构构构风风风险险险最最最小小小(SRM)的的的视视视角角角
Chapter 3
结结结构构构风风风险险险最最最小小小(SRM)
3.1 什什什么么么是是是经经经验验验风风风险险险最最最小小小(ERM)
在 统 计 机 器 学 习 框 架 下 ， 很 多 有 监 督 学 习 都 可 以 纳 入 到 经 验 风 险 最
小脨腅腭腰腩腲腩腣腡腬 腒腩腳腫 腍腩腮腩腭腩腺腡腴腩腯腮脩。经验风险脨腅腒脩一般是由一组样本的损失
函数脨腌腯腳腳 腆腵腮腣腴腩腯腮脩之和或者均值来定义的。经验风险是由大神腖腡腰腮腩腫提出
来的，他也是腓腖腍算法和腖腃维的提出者，开创性的把 统计机器学 习提高到
一个新的高度。脲脰脱脴年，脷脷岁的他去了腆腡腣腥腂腯腯腫的人工智能实验室。
ER脨X, Y, θ脩 脽
脱
n
n
X
1
Loss脨x
i
, y
i
, θ脩
其中X 脽 脨x
1
, . . . , x
n
脩
T
, Y 脽 脨y
1
, . . . , y
n
脩
T
，是样本集合。而θ是学习模型的
参数。
通常，每个样本的损失函数可以有两种定义角度去定义：
• 误差函数脨腅腲腲腯腲 腆腵腮腣腴腩腯腮 腯腲 腅腒腆脩：
Loss脨x
i
, y
i
, θ脩 脽 ERF 脨f 脨x
i
|θ脩, y
i
脩
脽
(
脨f脨x
i
|θ脩 − y
i
脩
2
腩腦 腅腒腆 腩腳 腓腅
|f脨x
i
|θ脩 − y
i
| 腩腦 腅腒腆 腩腳 腁腅
常见 的 腅腒腆有平方 误差脨腓腱腵腡腲腥腤 腅腲腲腯腲 腯腲 腓腅脩和绝对值误差脨腁腢腳腯腬腵腴腥 腅腲脭
腲腯腲 腯腲 腁腅脩。这样对 应 的经验风险就可以是均方 差脨腍腓腅脩，或者均绝 对 值
差脨腍腁腅脩。
• 负的腌腯腧似然函数脨腎腥腧腡腴腩腶腥 腌腯腧 腌腩腫腥腬腩腨腯腯腤 腯腲 腎腌腌脩：
Loss脨x
i
, y
i
, θ脩 脽 −`脨θ|x
i
, y
i
脩 脽 −腬腯腧 P 脨x
i
, y
i
|θ脩.
当然如果对于连续情况下，也可以直接利用概率密 度函数 来计算似然函
数。
Loss脨x
i
, y
i
, θ脩 脽 −`脨θ|x
i
, y
i
脩 脽 −腬腯腧 p脨x
i
, y
i
|θ脩.
脱脷
脱脸 脳 结构风险最小脨腓腒腍脩
那么腅腒腍就可以看成是样本集合的腎腌腌。
ER脨X, Y, θ脩 脽
脱
n
n
X
1
−`脨θ|x
i
, y
i
脩 脽
脱
n
n
X
1
−腬腯腧 p脨x
i
, y
i
|θ脩
脽 −
脱
n
腬腯腧
n
Y
1
p脨x
i
, y
i
|θ脩
脽 −
脱
n
腬腯腧 p脨X, Y |θ脩
对于这两种方式，内在是由一定的联系的。如果我们定义残差脨腒腥腳腩腤腵腡腬脩为
学习模型预测值与真实值之差。
r脨x
i
, y
i
, θ脩 脽 f脨x
i
|θ脩 − y
i
那么，最小平方误差等价于残差符合高斯 分布脨正态分布脩下的最小腎腌腌。而
最小绝对值误差等价于残差符合拉普拉斯分布下的最小腎腎腌。具体推理过程
就省略了。
r脨x
i
, y
i
, θ脩 ∼ N 脨脰, σ
2
脩 脽⇒
腡腲腧 腭腩腮
θ
脨f脨x
i
|θ脩 − y
i
脩
2
⇔ 腡腲腧 腭腩腮
θ
−腬腯腧
脱
σ
√
脲π
e
−
(f (x
i
|θ)−y
i
)
2
2σ
2
r脨x
i
, y
i
, θ脩 ∼ Laplace脨脰, b脩 脽⇒
腡腲腧 腭腩腮
θ
|f脨x
i
|θ脩 − y
i
| ⇔ 腡腲腧 腭腩腮
θ
−腬腯腧
脱
脲 b
e
−
|f (x
i
|θ)−y
i
|
b
那么我们比较一下损失函数是平方误差和绝对值误差的情况：
• 平方误差脨腓腅脩
脱脮 等价于残差符合高斯分布的腎腌腌
脲脮 对残差比较小脨< 脱脩的权重较小和比较大脨> 脱脩权重较大，对残差较大的
有抑制脨看图脳脮脱脩。
脳脮 连续光滑，容易求梯度（导数）
• 绝对值误差脨腁腅脩
脱脮 等价于残差符合拉普拉斯分布的腎腌腌
脲脮 对残差比较小脨< 脱脩和比较大脨> 脱脩同等看待，对于不同的残差相同权重
平均，同等看待脨看图脳脮脱脩。
脳脮 不光滑，不容易求梯度脨导 数脩，因此有光滑绝对 值误差脨腓腭腯腯腴腨腥腤 腁腢脭
腳腯腬腵腴腥 腅腲腲腯腲脩，是一个分段函数称为腈腵腢腥腲函数。
脳脮脲 从经验风险到结构风险 脱脹
Fig. 3.1 比较平方误差和绝对值误差
3.2 从从从经经经验验验风风风险险险到到到结结结构构构风风风险险险
我们知道，经验风险就是对训练误差的一个估算，但是我们训练的学习模
型，最后是要 用来做预测。所以我们更加关注测试误差。更一般的说，我们
需要知道的是我们的学 习模型对 整 个输入空间X → Y的误差的期望，称为
真实风险脨腔腲腵腥 腒腩腳腫脩。那么真实风 险是和训练学习模型是密切相关的。如果
对所有的学习 模型，我们就把真实风险最小的那个学习模型定义成贝叶斯风
险脨腂腡腹腥腳 腒腩腳腫脩。
一般把训练学 习模型的过程称为拟合脨腆腩腴腴腩腮腧脩，我们根据经验风险最小来
训练学习模型，同时也希望真实风险也小，但是如果在训练学习模型的时候脺
• 经验风险不小，真实风险不小，那么可能是欠拟合脨腕腮腤腥腲 腆腩腴腴腩腮腧脩。
脱脮 一般学习模型不够复杂。
脲脮 腖腃维就是用来度量学习模型的拟合能力的一种尺度。
• 经验风险很小，真实风险不小，那么可能是过拟合脨腏腶腥腲 腆腩腴腴腩腮腧脩了。
脱脮 选用的学习模型过于复杂。
脲脮 使用交叉验证脨腃腲腯腳腳 腖腡腬腩腤腡腴腩腯腮脩来进行确认是否过拟合了。
脳脮 使用正则化脨腒腥腧腵腲腡腬腩腺腡腴腩腯腮脩来限制模型参数。
为了防止过拟合的情况，一般选用拟合能力适合的学 习模型，而学习模
型的拟合能力一般是由腖腃维度来进行考察 的。一旦 选定 了学 习模型，如何
限制学 习模型 的参数来防止过拟合，这就会使用正则化。而把经验风险和正
则化结合起来考察 学 习模型的方 法， 就被称 为结构 风险最 小脨腓腴腲腵腣腴腵腲腥 腒腩腳腫
腍腩腮腩腭腩腺腡腴腩腯腮脩。简单来说，防止过拟合；
那么，结构风险就是：
脲脰 脳 结构风险最小脨腓腒腍脩
Table 3.1 防止过拟合
方法 依据
选择合适拟合能力的学习模型 学习模型的腖腃维
选择合适参数、结构 正则化
评估是否过拟合 交叉验证
SR脨X, Y, θ脩 脽 ER脨X, Y, θ脩 脫 λ · Reguralization脨θ脩
而结构风险最小就是：
θ
∗
脽 腡腲腧 腭腩腮
θ
SR脨X, Y, θ脩 脽 腡腲腧 腭腩腮
θ
脨ER脨X, Y, θ脩 脫 λ · Reguralization脨θ脩脩
其中λ是正则化系数 ，我们更为一般化描述，把不同参数 的函数 看成正则
化对象，那么对于一个函数簇f ∈ F。
f
∗
脽 腡腲腧 腭腩腮
f∈F
SR脨X, Y, f脩 脽 腡腲腧 腭腩腮
f∈F
脨ER脨X, Y, f脩 脫 λ · Reguralization脨f脩脩
这样正则化就可以包含一些非参数脨腮腯腮脭腰腡腲腡腭腥腴腲腩腣脩模型，譬如决策树脨腃腁腒腔脬
腃脴脮脵脩的剪枝脨腐腲腵腮腩腮腧脩等。
那么问题来了，正则化限制形式如何，正则化比例系数脨λ脩如何确定？
最常见的正则化项是L
p
正则化项，它 是L
p
空间的模脨腎腯腲腭脩，假设x 脽
脨x
1
, x
2
, . . . , x
n
脩，那么
kxk
p
脽 脨|x
1
|
p
脫 |x
2
|
p
脫 ··· 脫 |x
n
|
p
脩
1
p
.
Fig. 3.2 不同p取值的L
p
模为脱的单位球
脳脮脲 从经验风险到结构风险 脲脱
在通常情况下，不是直接用L
p
脽 kθk
p
模，而是用L
p
p
脽 kθk
p
p
。
Reguralization脨θ脩 脽 kθk
p
p
脽
|θ|
X
k=1
|θ
k
|
p
3.2.1 直直直观观观上上上如如如何何何看看看待待待SRM
我们知道，根据拉格朗日乘数法脺
(
腭腩腮 f脨x脩
g脨x脩 ≤ 脰
⇔ 腭腩腮
x
腭腡腸
λ
L脨x, λ脩 脽 腭腩腮
x
腭腡腸
λ
f脨x脩 脫 λ · g脨x脩
根据腋腋腔条件之一脺 λ · g脨x脩 脽 脰，那么当λ 6脽 脰 的时 候，那么g脨x脩 脽 脰。
假设这时候：
λ
∗
脽 腡腲腧 腭腡腸
λ
L脨x, λ脩 6脽 脰
(
腭腩腮 f脨x脩
g脨x脩 ≤ 脰
⇔ 腭腩腮
x
f脨x脩 脫 λ
∗
· g脨x脩
那么类似的，如果有λ
∗
6脽 脰，并且
f脨θ脩 脽 ERM脨X, Y, θ脩
g脨θ脩 脽 R
L
p
脨θ脩 − C
我们有：
腡腲腧 腭腩腮
θ
SRM脨X, Y, θ脩 ⇔ 腡腲腧 腭腩腮
θ
ERM脨X, Y, θ脩 脫 λ
∗
R
L
p
脨θ脩
⇔ 腡腲腧 腭腩腮
θ
ERM脨X, Y, θ脩 脫 λ
∗
脨R
L
p
脨θ脩 − C脩
⇔
(
腭腩腮
θ
ERM脨X, Y, θ脩
R
L
p
脨θ脩 ≤ C
所以利用拉格朗日 乘数 法对 比，我们发现正则化相当于存 在某个C，
当g脨θ脩 脽 R
L
p
脨θ脩 − C 脽 脰的时候，刚好令λ
∗
6脽 脰
脲脲 脳 结构风险最小脨腓腒腍脩
λ
∗
脽 腡腲腧 腭腡腸
λ
ERM脨X, Y, θ脩 脫 λ脨R
L
p
脨θ脩 − C脩
直观来说，就是我们限制了R
L
p
脨θ脩 脽 C，而这个C是由正则化系数λ
∗
来
决 定 的 。 在 这 种 限 制 下 ， 我 们 求 经 验 风 险ERM脨X, Y, θ脩最 小 的 学 习 模
型f脨θ脩。
类似于拉格朗日 图示脨图脳脮脳脩，在g脨x, y脩 脽 c的条件下，求f脨x, y脩的最值。
就是找到以f脨x, y脩 脽 d
n
的等高线上，找到与g脨x, y脩 脽 c相切的点。
Fig. 3.3 拉格朗日图示求最值，f脨x, y脩 脽 d
n
的等高线与g脨x, y脩 脽 c相切
那么， 图 示 法 求腓腒腍就是在R
L
p
脨θ脩 脽 C的 线上求与ERM脨X, Y, θ脩 脽
d
n
的等高线相切的点。
3.2.2 贝贝贝叶叶叶斯斯斯观观观点点点来来来看看看SRM
根据 前 面 对 损失函 数 的 两种方 式 的 定 义，我 们 知 道损失 函 数 可以看 成
是腎腌腌。
SRM脨X, Y, θ脩 脽 ERM脨X, Y, θ脩 脫 λR
L
p
脨θ脩
脽 −
脱
n
腬腯腧 p脨X, Y |θ脩 脫 λR
L
p
脨θ脩
脽 −
脱
n
腬腯腧 p脨X, Y |θ脩 脫
−
脱
n
腬腯腧 e
−nλR
L
p
(θ)
脽 −
脱
n
腬腯腧 p脨X, Y |θ脩 · e
−nλR
L
p
(θ)
我们知道脰 ≤ e
−nλR
L
p
(θ)
≤ e
0
脽 脱，那么我们令
prior脨θ脩 脽 e
−nλR
L
p
(θ)
∈ 腛脰, 脱腝
如果把prior脨θ脩看成是参数θ的先验概率脨腐腲腩腯腲 腐腲腯腢腡腢腩腬腩腴腹脩 那么腅腒腍等价最
大似然估计脨腍腌腅脩：
脳脮脲 从经验风险到结构风险 脲脳
腡腲腧 腭腩腮
θ
ERM脨X, Y, θ脩 ⇔ 腡腲腧 腭腡腸
θ
p脨X, Y |θ脩 ⇔ θ
MLE(X,Y |θ)
而腓腒腍等价最大后验概率脨腍腁腐脩：
腡腲腧 腭腩腮
θ
SRM脨X, Y, θ脩 ⇔ 腡腲腧 腭腡腸
θ
p脨X, Y |θ脩 · e
−nλR
L
p
(θ)
脽 腡腲腧 腭腡腸
θ
p脨X, Y |θ脩 · prior脨θ脩
⇔ θ
MAP (X,Y |θ)
所以从贝叶斯观点来看，正则化是给学习模型加了个先验限制。
prior脨θ脩 脽
e
−λR
L
p
(θ)
n
脽
e
−
R
L
p
(θ)
λ
−1
n
相当于每个样本对应一个e
−λR
L
p
(θ)
的先验概率。
3.2.3 L
2
正正正则则则化化化与与与L
1
正正正则则则化化化
根据前面的拉格朗日乘 数 法的观点和贝叶斯的观点，我们来 看L
2
正则化有什
么特点。
R
L
2
脨θ脩 脽 kθk
2
2
脽 kθk
2
脽 θ
2
1
脫 θ
2
2
脫 . . . 脫 θ
2
m
根据图示法，假设是两维问题，对于参数β 脽 脨β
1
, β
2
脩的情况下，那么正则化
曲线为圆脨图脳脮脴脩：
R
L
2
脨β脩 脽 β
2
1
脫 β
2
2
脽 C ⇔ β
2
1
脫 β
2
2
脽 C ≥ 脰
假设腅腒腍是腍腓腅，那么ERM脨X, Y, β脩 在线性回归Y 脽 β
T
·X情况下，也是
二次曲线。这种情况称为岭回归脨腒腩腤腧腥 腒腥腧腲腥腳腳腩腯腮脩。
ERM脨X, Y, β脩 脽
脱
n
n
X
1
脨β
T
· x
i
− y
i
脩
2
腞
β 脽 脨X
T
X 脫 λI脩
−1
X
T
Y
岭回归有哪些好处呢？
脱脮 那么根据结果公式，很明显的一个好处是有共 线性脨腍腵腬腴腩腣腯腬腬腩腮腥腡腲腩腴腹脩的情
况的时 候，X
T
X虽然是半正定 的脨腐腓腄脩的，却是奇异的脨腓腩腮腧腵腬腡腲脩。在加
上λI之后，结果变得可以求逆了。
脲脮 根据图脳脮脴脬 岭回归会把β限制在一定 的范围呢，使得我们对β的估计从
最佳线性无 偏估计脨腂腥腳腴 腌腩腮腥腡腲 腕腮腢腩腡腳腥腤 腅腳腴腩腭腡腴腥脩 变成了最小方 差估
脲脴 脳 结构风险最小脨腓腒腍脩
计脨腍腩腮腩腭腵腭 腖腡腲腩腡腮腣腥 腕腮腢腩腡腳腥腤 腅腳腴腩腭腡腴腯腲脩。从腂腌腕腅到腍腖腕腅体现了参
数 估计中牺牲偏差脨腂腩腡腳脩来换取更小方 差脨腖腡腲腩腡腮腣腥脩的偏差方 差权衡脨腂腩腡腳
腖腡腲腩腡腮腣腥 腔腲腡腤腥腯脋脩的思想。为什么更小的方 差有好处呢？方 差越小的
话，模型 对 数 据 较 小 的 扰动能够更稳 定 ， 否 则 数 据引入很小的 突 变
点脨腏腵腴腬腩腥腲脩之后，学 习的模型会迅速退化，与原模型差异较大。这不
是我们想要的结果。但是如果偏差较大，使得模型在较小的方差情况下难
以覆盖未训练数据， 从而导致泛化误差变大 ，有点类似欠拟合。我 们知道
正则化系数λ越大，会导致方 差越小，偏差越大。如何找到合适的λ达到
偏差和方差平衡目前还没有特别好的办法。
E
脨y −
腞
f脩
2
脽 E腛y
2
脫
腞
f
2
− 脲y
腞
f腝
脽 E腛y
2
腝 脫 E腛
腞
f
2
腝 − E腛脲y
腞
f腝
脽 腖腡腲腛y腝 脫 E腛y腝
2
脫 腖腡腲腛
腞
f腝 脫 E腛
腞
f腝
2
− 脲f E腛
腞
f腝
脽 腖腡腲腛y腝 脫 腖腡腲腛
腞
f腝 脫 脨f − E腛
腞
f腝脩
2
脽 腖腡腲腛y腝 脫 腖腡腲腛
腞
f腝 脫 E腛f −
腞
f腝
2
脽 σ
2
脫 腖腡腲腛
腞
f腝 脫 腂腩腡腳腛
腞
f腝
2
在这里
腞
f 脽 x ·
腞
β
脳脮 L
2
正则化还有一个好处就是，正则项是二次的，并且连续二次可导 的，
和腍腓腅问次同构，所以不会增加计算的复杂度。原问题可以利用的优化
方法脨例如牛顿法需要二次可导脩 正则化后问题都可以使用。
R
L
1
脨θ脩 脽 kθk
1
脽 |θ
1
| 脫 |θ
2
| 脫 ··· 脫 |θ
m
|.
当经验风险是腍腓腅，而正则化是L
1
模的时候，这时候称为腌腡腳腳腯回归脨腌腥腡腳腴
腁腢腳腯腬腵腴腥 腓腨腲腩腮腫腡腧腥 腡腮腤 腓腥腬腥腣腴腩腯腮 腏腰腥腲腡腴腯腲 腒腥腧腲腥腳腳腩腯腮脩最小绝对 值缩选算
符。
根据图 示法，假设是两维问题，对 于参数β 脽 脨β
1
, β
2
脩的情况 下，那么正
则化线为第一象限直线，其他象限轴对称，合起来是一个正方形脨图脳脮脴脩：
R
L
1
脨β脩 脽 |β
1
| 脫 |β
2
| 脽 C ⇔
(
β
1
脫 β
2
脽 C 腩腦 β
1
> 脰脦脦β
2
> 脰
轴对称图形 腩腦 除了第一象限
腌腡腳腳腯 回归有哪些特点呢？
脱脮 腌腡腳腳腯最大的特征就是，由于R
L
1
脨β脩 脽 C是方 体，所以在各个轴上的点
比较突出，于是ER脨X, Y, β脩优先与这些轴相切。于是乎使得这些轴上
的β被优先选中。而这些轴上的点具有的特征是其他方 向上是脰。而对 于
立体的情况，两个轴 上的连线也由于突出容 易被切到。这样使得存 在一个
优先级的切到：从各个轴的顶点，较少的轴的连线，然后再到更多轴的连
接面。在这样的优先性下 面，相当于尽可能多的是大部分轴为脰。也就是
说m个特征向量中可能多的维度为脰。而这正是对 稀疏性有要求的情况下
特别适用。
脲脮 同 时 也 正 是腌腡腳腳腯的 这 种 内 在 稀 疏 性 ， 应 此 称 为 特 征 选 择 的 主 要 方
法 之 一 。 在 有 监 督 学 习 的 特 种 选 择脨腆腥腡腴腵腲腥 腓腥腬腥腣腴腩腯腮脩中 ， 相 对 于 过
脳脮脲 从经验风险到结构风险 脲脵
Fig. 3.4 比较腌脱和腌脲正则化
滤脨腆腩腬腴腥腲脩，包裹脨腗腲腡腰腰腥腲脩
1
，正则化脨主要是腌腡腳腳腯脩有着集中了腆腩腬腴腥腲在计
算性方面的优势，同时又有腗腲腡腰腰腥腲在自动化好方面的优势。
脳脮 腌腡腳腳腯由于是绝对值函数，所以不能二次求导脨牛顿法和共轭梯度法脨腃腯腮腪腵腧腡腴腥
腇腲腡腤腩腥腮腴脩需要 二次求导脩，这样在最优话方面就有限制，需要利用坐标下
坡脨腃腯腲腲腤腩腮腡腴腥 腄腥腳腣腥腮腴脩或者近端梯度法脨腐腲腯腸腩腭腡腬 腇腲腡腤腩腥腮腴脩 进行求解。
从贝叶斯角度来看，e
−λR
L
p
(θ)
的先验 在L
2
和L
1
的情况 下也分布对 应了高
斯分布和拉普拉斯分布。
e
−λkθk
2
⇔ θ ∼ N 脨脰,
r
脱
脲λ
脩
e
−λkθk
1
⇔ θ ∼ Laplace脨脰,
脱
λ
脩
从图脳脮脵上我们可以看到相比较高斯 分布，拉普拉斯 分布更加尖锐一些。
根据先验分布，那么
既 然L
2
和L
1
各有各的好处，那么把两者结合起来是不是会更好呢？这就
是腅腬腡腳腴腩腣腎腥腴。从它 的图形上来看，它 既 有比较突出的顶点在坐标轴上，又
接近圆形限制。这样对 共线性和稀疏化都有很大帮助。虽然腅腬腡腳腴腩腣腎腥腴的效
1
腗腲腡腰腰腥腲翻译成包裹，跟随周志华的《机器学习》
脲脶 脳 结构风险最小脨腓腒腍脩
Fig. 3.5 腌腡腰腬腡腣腥 腶腳 腎腯腲腭腡腬 腄腩腳腴腲腩腢腵腴腩腯腮
果与腌腡腳腳腯非常相似， 但是腌腡腳腳腯对 共线性是比较敏感的，会随机选择其中一
个变量。而腅腬腡腳腴腩腣腎腥腴则会在两者之间选择一个平衡的点进行加权。
Fig. 3.6 腅腬腡腳腴腩腣 腎腥腴
脳脮脲 从经验风险到结构风险 脲脷
λR
EN
脨θ脩 脽 αλ
1
R
L
1
脨θ脩 脫 脨脱 − α脩λ
2
R
L
2
脨θ脩 ⇔
R
EN
脨θ脩 脽 α
λ
1
λ
kθk
1
脫 脨脱 − α脩
λ
2
λ
kθk
2
脽
λ
1
λ
αkθk
1
脫 脨脱 − α脩
λ
2
λ
1
kθk
2
脽
λ
1
λ
αkθk
1
脫 脨脱 − α脩
λ
2
λ
1
kθk
2
脽 αkθk
1
脫 脨脱 − α脩
脱
脲
kθk
2
腩腦 λ
1
脽 λ 腡腮腤 λ
2
脽
λ
脲脡
腪腵腳腴 腬腩腫腥 腔腡腹腬腯腲脧腳 腦腯腲腭腵腬腡
这样α 脽 脱 则R
EN
脨θ脩 ∼ R
L
1
脨θ脩 而当α 脽 脰 则R
EN
脨θ脩 ∼
1
2
R
L
2
脨θ脩 所
以α又叫L
1
比率。
但是到目前为止还是有个很明显的问题没有解决，就是λ如何选择，另
外腅腬腡腳腴腩腣腎腥腴里面的L
1
比率alpha如何选择？
但是目前为止还没有 特别完美的办法，解决 这个问题。当没有好办法的时
候只能是做腔腲腹脭腡腮腤脭腆腡腩腬。这时 候需要利用交叉验 证脨腃腖脩来通过测试误差判
断正则化系数 的 好坏。而对 一组λ 和一组alpha 进行交叉验证比较然后选择
最优的λ和alpha技 术称为腇腲腩腤 腓腥腡腲腣腨。是穷尽暴力查找优化参数的办法。显
然这样很慢，另外的办法就随机查找脨腒腡腮腤腯腭 腓腥腡腲腣腨脩。
腔腲腹 腡腮腤 腦腡腩腬脬 腢腵腴 腮腥腶腥腲 腦腡腩腬 腴腯 腴腲腹脡
在这里不得不提一下ν脭腓腖腍，在腓腖腍里面对 松弛变量的L
1
正则化如何设
置C脨λ脩也是一个很大的问题。而且腓腍腏算法比较慢，如何设置C就很大的
问题。ν脭腓腖腍通过对C在最大腍腡腲腧腩腮中意义探讨，用一个ν ∈ 腛脰, 脱腝来替代
了C，这样需要根据支 持向量的个数 来设置C的 大小，变成了根据支 持向量
数量的占比ν来设置。但是ν本身也没有好的最优化设置。
Chapter 4
正正正则则则化化化(Regularization)
根据腓腒腍，最小化的目标分成了损失函数和正则化项了。而两者之间是通过
比例系数λ来控制的，如果更为泛化的眼光来看。其实 哪一项是损失函数 ，
哪一项是正则化也不需要那么明确。
4.1 分分分类类类算算算法法法的的的损损损失失失函函函数数数
所以在腓腒腍框架下统一给出 损失函数和正则化一直吸引了大家的眼球。前面
我们已经介绍了两种回归的损失函数腓腅和腁腅。腌腒算法其实 是个分类算法那
么分类算法的一般如何计算损失呢？
假设一个两类问题y
i
∈ {脰, 脱}脬 那么我们要利用脰脭脱指示函数来脨腉腮腤腩腣腡腴腯腲脩计
算有多少个样本分错了。
Err 脽
n
X
1
I脨y
i
6脽 f脨x
i
|θ脩脩
我们知道y
i
∈ {脰, 脱}是不对称的，我们假设y
0
i
脽 脲y
i
−脱 ∈ {−脱, 脱} 那么这种对
称有什么好处呢。既然这 两种标记方法是等价的，我们直接用对称的{−脱, 脱}
我们可以讨论一 下，如果分对的情况，我们希望y
i
与f脨x
i
|θ脩同号，那么可以
定义：
I脨y
i
脽 f脨x
i
|θ脩脩 ⇔ y
i
∗ f 脨x
i
|θ脩 脽 脱 ⇔ −y
i
∗ f 脨x
i
|θ脩 脽 −脱
I脨y
i
6脽 f脨x
i
|θ脩脩 ⇔ y
i
∗ f 脨x
i
|θ脩 脽 −脱 ⇔ −y
i
∗ f 脨x
i
|θ脩 脽 脱
这样分错和分对可以用单位阶跃函数脨腈腥腡腶腩腳腩腤腥 腳腴腥腰 腦腵腮腣腴腩腯腮脩来计数了，
脲脹
脳脰 脴 正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
Loss 脽 H脨−y
i
∗ f 脨x
i
|θ脩脩 ⇐⇒ H脨x脩 脽
(
脰, x < 脰,
脱, x ≥ 脰,
从这个过程我们就 把脰脭脱损失转化成了−y
i
∗ f 脨x
i
|θ脩 的单位阶跃函数 了。
类似的对于其 他分类问题，我们经常把一个损失函数转成y
i
∗ f脨x
i
|θ脩形式的
函数。
Loss脨f脨x
i
|θ脩, y
i
脩 脽 φ脨y
i
f脨x
i
|θ脩脩 ⇐⇒ φ脨x脩 脽
(
脰, x > 脰,
脱, x ≤ 脰,
脽 I脨x ≤ 脰脩
根据前面提到的损失函数 的两种方 式，腌腒算法是根据腎腌腌的方 式来计算
的，对 于y
i
∈ {−脱, 脱}的情况。对 于脨x
i
, y
i
脩，腌腯腧腩腳腴腩腣 函数 可以理解为y
i
脽
脱的时候的概率。
P 脨x
i
脩 脽
脱
脱 脫 e
−θ
T
x
i
Loss脨x
i
, y
i
, θ脩 脽
(
−腬腯腧 P 脨x
i
脩 腩腦 y
i
脽 脱
−腬腯腧 脱 − P 脨x
i
脩 腩腦 y
i
脽 −脱
脽
(
−腬腯腧
1
1+e
−θ
T
x
i
腩腦 y
i
脽 脱
−腬腯腧 脱 −
1
1+e
−θ
T
x
i
腩腦 y
i
脽 −脱
脽
(
腬腯腧 脱 脫 e
−θ
T
x
i
腩腦 y
i
脽 脱
−腬腯腧
e
−θ
T
x
i
1+e
−θ
T
x
i
腩腦 y
i
脽 −脱
脽
(
腬腯腧 脱 脫 e
−θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧
1+e
−θ
T
x
i
e
−θ
T
x
i
腩腦 y
i
脽 −脱
脽
(
腬腯腧 脱 脫 e
−θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧 e
θ
T
x
i
脫 脱 腩腦 y
i
脽 −脱
脽
(
腬腯腧 脱 脫 e
−θ
T
x
i
腩腦 y
i
脽 脱
腬腯腧 脱 脫 e
θ
T
x
i
腩腦 y
i
脽 −脱
脽 腬腯腧 脱 脫 e
−y
i
(θ
T
x
i
)
ER脨X, Y, θ脩 脽
脱
n
n
X
1
腬腯腧 脱 脫 e
−y
i
(θ
T
x
i
)
脴脮脲 分类界限 脳脱
类似前面广义线性模型的思想，我们令线性部分定 义为f脨x
i
|θ脩 脽 θ
T
x
i
那么腌腒算法的损失函数和正则化是如何设置的呢？那么
Loss脨f脨x
i
|θ脩, y
i
脩 脽 φ脨−y
i
f脨x
i
|θ脩脩 脽 腬腯腧 脱 脫 e
−y
i
f(x
i
|θ)
⇔ φ脨x脩 脽 腬腯腧 脱 脫 e
−x
4.2 分分分类类类界界界限限限
前面，我们知道y
i
f脨x
i
脩在y
i
∈ {−脱, 脱}的情况应用很多，它 被称为分类界
限脨腃腬腡腳腳腩脌腣腡腴腩腯腮 腍腡腲腧腩腮脬 腃腍脩。这个定 义来自支 持向量机脨腓腵腰腰腯腲腴 腖腥腣腴腯腲
腍腡腣腨腩腮腥脬 腓腖腍脩。对于一个二分问题，在线性可分的情况下，如图脴脮脱所示，
对于两个类别的数据脨x
i
, y
i
脽 脱脩 和脨x
j
, y
j
脽 −脱脩 如下关系成立脺
(
f脨x
i
脩 脽 θ
T
x
i
脫 b ≥ 脱 腷腨腥腲腥 y
i
脽 脱
f脨x
j
脩 脽 θ
T
x
j
脫 b ≤ −脱 腷腨腥腲腥 y
j
脽 −脱
⇔ yf脨x 脩 ≥ 脱
这样就把分类边界定义如下：
CM脨x , y|θ脩 脽 yf脨x 脩
Fig. 4.1 腃腬腡腳腳腩脌腣腡腴腩腯腮 腍腡腲腧腩腮
脳脲 脴 正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
从图上可以看出，两条边界脨支 持向量所在直线脩之间f 脨x 脩值相差了脲。
而脲 脽 脲yf脨x 脩。所以有些地方也把分类界限定义成脲yf脨x 脩。
腓腖腍的腌腯腳腳函数，以腃腍来写的话，是铰链损失函数脨腈腩腮腧腥 腌腯腳腳脩：
Loss脨x , y|θ脩 脽 腭腡腸 脨脰, 脱 − yf脨x |θ脩脩 ⇔ φ脨x脩 脽 腭腡腸脨脰, 脱 − x脩
Fig. 4.2 腃腍 腡腮腤 腌腯腳腳 腆腵腮腣腴腩腯腮脨 腚腥腲腯脭腏腮腥 腌腯腳腳脬 腈腩腮腧腥 腌腯腳腳 腡腮腤 腌腯腧腩腳腴腩腣 腌腯腳腳脩
为 了 让 这 些腌腯腳腳函 数 在CM 脽 脰的 时 候 有 相 同 的 取 值 ， 对 于腌腯腧腩腳腴腩腣
腌腯腳腳也常做一个归一化处理。
φ脨x脩 脽
脱
腬腯腧 脲
腬腯腧 脱 脫 e
−x
这样，我们可以把腌腯腧腩腳腴腩腣 腌腯腳腳和腈腩腮腧腥 腌腯腳腳可以看成是脰脭脱 腌腯腳腳的一个上
限。我们知道脰脭脱 腌腯腳腳 的另外一个常用的上限是指数损失脨腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩脺
I脨x ≤ 脰脩 ≤ e
−x
⇔ φ脨x脩 脽 e
−x
而这个对数损失对应的这是腁腤腡腢腯腯腳腴算法的损失函数。这个上限在腁腤腡腢腯腯腳腴误
差收敛性证明中也会用到。
脴脮脳 逻辑回归的过拟合与正则化 脳脳
Fig. 4.3 腃腍 腡腮腤 腌腯腳腳 腆腵腮腣腴腩腯腮 脨 腚腥腲腯脭腏腮腥 腌腯腳腳脬 腈腩腮腧腥 腌腯腳腳脬 腌腯腧腩腳腴腩腣 腌腯腳腳脬 腡腮腤
腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩
Table 4.1 损失函数
损失函数 函数形式 对应算法
脰脭脱损失脨腚腥腲腯脭腏腮腥 腌腯腳腳脩 I脨x ≤ 脰脩 腌腩腮腥腡腲 腂腩腮腡腲腹 腃腬腡腳腳腩脌腣腡腴腩腯腮
铰链损失脨腈腩腮腧腥 腌腯腳腳脩 φ脨x脩 脽 腭腡腸脨脰, 脱 − x脩 腓腖腍
逻辑损失脨腌腯腧腩腳腴腩腣 腌腯腳腳脩 φ脨x脩 脽
1
log 2
腬腯腧 脱 脫 e
−x
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮
指数损失脨腅腸腰腯腮腥腮腴腩腡腬 腌腯腳腳脩 φ脨x脩 脽 e
−x
腁腤腡腂腯腯腳腴
4.3 逻逻逻辑辑辑回回回归归归的的的过过过拟拟拟合合合与与与正正正则则则化化化
逻辑回归也是很容易导 致过拟合的。尤其在样本数 据比较稀疏，或者属性维
度特别大的情况下，一般有三方面的考虑：
脱脮 增加样本数量和压缩特征属性数量：当利用的特征属性很多，而训练相比
的数 量相对较大，这时候训练数 据变得极为稀疏，在这种情况下，逻辑
回归训练结果不稳定 ，而且很容 易陷入过拟合。如果合理的增加样本数
量和进行特征选择脨腆腥腡腴腵腲腥 腓腥腬腥腣腴腩腯腮脬 腆腓脩和特征抽取脨腆腥腡腴腵腲腥 腅腸腴腲腡腣腴腩腯腮脬
腆腅脩：
• 特 征 选 择脺 常 用 过 滤脨腆腩腬腴腥腲脩方 法 ， 根 据 相 关 度脨腃腯腲腲腥腬腡腴腩腯腮脩， 互 信
息脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脩等。也可以利用包裹脨腗腲腡腰腰腥腲脩方 法，根据其
他对数据稀疏或者高维特征属性空间不敏感的算法模型脨腓腖腍脬腋腎腎等脩进
行特征选择。
• 特 征 提 取脺 常 用 投 影 的 方 法 ， 对 于 没 有 目 标 属 性脨腕腮腳腵腰腥腲腶腩腳腥腤脩的
情 况 下 的 主 成 分 分 析脨腐腲腩腮腣腩腰腬腥 腃腯腭腰腯腮腥腮腴 腡腮腡腬腹腳腩腳脬 腐腃腁脩， 或 者
自 组 织 神 经 网 络脨腓腥腬腦脭腏腲腧腡腮腩腺腩腮腧 腍腡腰腰腩腮腧脬 腓腏腍脩。 在 使 用 目 标 属
性脨腓腵腰腥腲腶腩腳腥腤脩参 考 的 情 况 下 ， 线 性 判 别 分 析脨腌腩腮腥腡腲 腄腩腳腣腲腩腭腩腮腡腮腴
腁腮腡腬腹腳腩腳脬 腌腄腁脩，或者投影寻踪脨腐腲腯腪腥腣腴腩腯腮 腐腵腲腳腵腩腴脬 腐腐脩。
脳脴 脴 正则化脨腒腥腧腵腬腡腲腩腺腡腴腩腯腮脩
脲脮 提前退出训练脨腅腡腲腬腹 腓腴腯腰腰腩腮腧脩脺 不管是特征选择或者抽取， 还是提前退出
训练，都会利用交叉验证来测试过拟合的程度。提前退出训练策略就是在
发现测试误差有增大趋势的时候，停止训练。
脳脮 正则化脨L
1
或者L
2
脩脺
θ
∗
脽 腡腲腧 腭腩腮
θ
SR脨X, Y |θ脩 脽 腡腲腧 腭腩腮
θ
脱
n
n
X
1
腬腯腧 脱 脫 e
−y
i
θ
T
x
i
脫 λkθk
p
p
脽 腡腲腧 腭腩腮
θ
脱
n
n
X
1
腬腯腧 脱 脫 e
−y
i
θ
T
x
i
脫 λ
|θ|
X
k=0
|θ
k
|
p
根据之前提过的L
2
具有多次可导 的好处因此处理起来，可以利用衍生
的共轭梯度脨腐腲腥腣腯腮腤腩腴腩腯腮腥腤 腃腯腮腪腵腧腡腴腥 腇腲腡腤腩腥腮腴脬 腐腃腇脩 ，衍生的牛顿算
法脨腌腩腭腩腴腥腤 腍腥腭腯腲腹 腂腆腇腓脬 腌脭腂腆腇腓脩。相比L
2
，L
1
由于二次不可导 ，就
没有那么幸运了，L
1
经常用一些近似的替代算法脨腓腵腲腲腯腧腡腴腥脩来逼近不可
以导的部分。
Table 4.2 L
2
和L
1
的优化方法
腍腥腴腨腯腤 L
2
L
1
腇腲腡腤腩腥腮腴 腄腥腳腣腥腮腴 腁腤腡腭 腁腤腡腭
腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴 腃腹腣腬腩腣 腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴 脨腃腄腎脩
腃腯腮腪腵腧腡腴腥 腇腲腡腤腩腥腮腴 腐腲腥腣腯腮腤腩腴腩腯腮腥腤
腃腇
腱腵腡腳腩脭腎腥腷腴腯腮 腌脭腂腆腇腓 腏腲腴腨腡腮腴脭腗腩腳腥 腌腩腭腩腴腥腤脭腭腥腭腯腲腹 腑腵腡腳腩脭
腎腥腷腴腯腮 脨腏腗腌脭腑腎脩
腐腲腯腸腩腭腡腬 腇腲腡腤腩腥腮腴 腃腯腭腰腯腳腩腴腥 腏腢腪腥腣腴腩腶腥 腇腄 脨腃腏腇腄脩
脴脮脳 逻辑回归的过拟合与正则化 脳脵
脨腡脩 L
1
训练曲线 脨腢脩 L
2
训练曲线
Fig. 4.4 L
1
和L
2
训练曲线比较，在相 同的参数 设置情况下，训练相同步数 ，L
1
能较快
的获得较低的错误率
Part IV
从从从两两两类类类(Bi-Class)到到到多多多类类类(Multi-Class)
脳脸
软最大回归脨腓腯腦腴腭腡腸 腒腥腧腲腥腳腳腩腯腮脩又被称 为多项逻辑 回归脨腍腵腬腴腩腮腯腭腩腮腡腬
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮脩，而传统的逻辑回归又被称为二项逻辑回归脨腂腩腮腯腭腩腡腬
腌腯腧腩腳腴腩腣 腒腥腧腲腥腳腳腩腯腮脩。
Chapter 5
从从从二二二项项项(Binomial)分分分布布布到到到多多多
项项项(Multinominal)分分分布布布
5.1 抛抛抛硬硬硬币币币(Coin Toss)和和和掷掷掷骰骰骰子子子(Dice)
5.1.1 伯伯伯努努努力力力(Bernoulli)分分分布布布
我们知道抛硬币是对 伯努力脨腂腥腲腮腯腵腬腬腩脩分布Bernoulli脨p脩的一种说明。假设
抛一次硬币正面的概率p，那么反面的概率就为脱 − p，把两者统一起来，所
以腂腥腲腮腯腵腬腬腩的概率表达式是：
f脨x脻 p脩 脽 p
x
脨脱 − p脩
1−x
x ∈ {脰, 脱}
5.1.2 二二二项项项(Binomial)分分分布布布
如果我们连续的抛脱个硬币n次，那么我们就得到了二项分布B脨n, p脩。二项分
布是一组伯努力脨腂腥腲腮腯腵腬腬腩脩分布变量之和。
X
k
∼ Bernoulli脨p脩 ⇒ Y 脽
n
X
k=1
X
k
∼ 腂脨n, p脩
f脨x脻 n, p脩 脽
n
x
p
x
脨脱 − p脩
n−x
x ∈ {脰, 脱, . . . , n}
所以说，伯努力分布是二项分布的一个特例：
Bernoulli脨p脩 脽 B脨脱, p脩
脳脹
脴脰 脵 从二项脨腂腩腮腯腭腩腡腬脩分布到多项脨腍腵腬腴腩腮腯腭腩腮腡腬脩分布
5.1.3 多多多项项项(Multinominal)分分分布布布
假设我们把 抛硬币改成掷骰子脨腤腩腣腥脩， 这个骰子有K个面 的话，并且掷n次的
话，我们就从把二项分布变成了多项分布M脨x
1
, ··· , x
K
|n, p
1
, ··· , p
K
脩。
f脨x
1
, . . . , x
K
脻 n, p
1
, . . . , p
K
脩 脽
n脡
x
1
脡 ···x
K
脡
p
x
1
1
···p
x
K
K
, 腷腨腥腲腥
K
X
i=1
x
i
脽 n
脽
Γ 脨
P
i
x
i
脫 脱脩
Q
i
Γ 脨x
i
脫 脱脩
K
Y
i=1
p
x
i
i
. Γ 腩腳 伽玛函数
所以说，二项分布是多项分布的一个特例脺
B脨n, p脩 脽 M 脨x, n − x|n, p, 脱 − p脩
这里需要说明的，如果改 成好几块脨T 块脩不同概率的硬币脨q
t
是第t块硬币
正面的概率脩一起抛的话。那么这相当于K 脽 脲
T
的多项分布。假设k − 脱 脽
b
T
···b
2
b
1
, 腷腨腥腲腥 b
t
∈ {脰, 脱}是k的二进制表示脬 那么
p
k
脽
T
Y
1
q
b
t
t
脨脱 − q
t
脩
1−b
t
M脨x
1
, ··· , x
K
|n, p
1
, ··· , p
K
脩 脽 M脨x
1
, ··· , x
2
T
|n,
T
Y
t=1
脨脱 − q
t
脩, ··· ,
T
Y
t=1
q
t
脩
Chapter 6
从从从二二二项项项回回回归归归(Binomial Regression)到到到多多多项项项回回回
归归归(Multinominal Regression)
6.1 GLM模模模型型型的的的解解解释释释
根据广义线性模型脨腇腌腍脩，二项回归是对 应到Y ∼ B脨n, p脩，而多项回归对
应到Y ∼ M脨x
1
, ··· , x
K
|n, p
1
, ··· , p
K
脩。前面，腇腌腍告诉我们，通过链接函
数脨腌腩腮腫 腆腵腮腣腴腩腯腮脩和线性回归联系起来：g脨E脨y
i
脩脩 脽 θ
T
x
i
脫 θ
0
。
Y ∼ B脨n, p脩 ⇔ µ
i
脽 E脨y
i
脩 ∼ Bernoulli脨p脩 ⇔
L脨µ | Y 脩 脽
n
Y
i=1
脨µ
i
I脨y
i
脽 脱脩 脫 脨脱 − µ
i
脩I脨y
i
脽 脰脩脩 脽
n
Y
i=1
µ
y
i
i
脨脱 − µ
i
脩
1−y
i
那么链接函数为：
g脨µ
i
脩 脽 η
i
脽 θ
T
x
i
脫 θ
0
脽 θ
0
脫 θ
1
x
i1
脫 θ
2
x
i2
脫 ··· 脫 θ
m
x
im
脽 脨θ
0
, θ
1
, ··· , θ
m
脩
T
脨脱, x
1
, ··· , x
m
脩 脽 θ
0T
x
0
i
E脨Y 脩 脽 µ 脽 g
−1
脨θ
0T
X
0
脩
根据腇腌腍理论，利用统一的指数形式：
f
X
脨x | θ脩 脽 h脨x脩 腥腸腰
η脨θ脩 · T脨x脩 − A脨θ脩
我们把二项分布化成统一指数形式：
脴脱
脴脲 脶 从二项回归脨腂腩腮腯腭腩腡腬 腒腥腧腲腥腳腳腩腯腮脩到多项回归脨腍腵腬腴腩腮腯腭腩腮腡腬 腒腥腧腲腥腳腳腩腯腮脩
f脨x脻 p脩 脽
n
x
p
x
脨脱 − p脩
n−x
, x ∈ {脰, 脱, 脲, . . . , n}
脽
n
x
腥腸腰
x 腬腯腧
p
脱 − p
脫 n 腬腯腧脨脱 − p脩
µ 脽 腅脨Y 脩 ⇔ g脨µ脩 脽 η 脽 腬腮
p
脱 − p
脽 θ
0T
X
0
⇔ p 脽
脱
脱 脫 e
−η
脽
脱
脱 脫 e
−θ
0T
X
0
那么化解多项概率函数：
f脨x
1
, . . . , x
K
脻 n, p
1
, . . . , p
K
脩 脽
n脡
x
1
脡 ···x
K
脡
p
x
1
1
···p
x
K
K
脽
n脡
x
1
脡 ···x
K
脡
腥腸腰腛
K
X
k=1
x
k
腬腯腧 p
k
腝
脽
n脡
x
1
脡 ···x
K
脡
腥腸腰腛
K−1
X
k=1
x
k
腬腯腧
p
k
p
K
脫 腬腯腧 p
K
K
X
k=1
x
k
腝
类似的，我 们希望找到多项分布的对 应的链 接函数 ，其中腙满足多项分
布。
Y ∼ M 脨c
1
, ··· , c
K
|n, p
1
, ··· , p
K
脩 ⇔ µ
ik
脽 E脨y
i
脽 c
k
脩 ⇔
L脨µ | Y 脩 脽
n
Y
i=1
K
X
k=1
脨µ
ik
I脨y
i
脽 c
k
脩脩
那么链接函数：
g脨µ
ik
脩 脽 η
ik
脽 θ
T
k
x
i
脫 θ
0k
脽 θ
0T
k
x
0
i
⇔
g 脽 脨g脨µ
i1
脩, ··· , g脨µ
iK
脩脩
T
脽 脨η
i1
, ··· , η
iK
脩
T
脽 η
我们可以得到两种不用形式的链接函数：
η 脽
腬腮 p
1
脫 C
脮
脮
脮
腬腮 p
K
脫 C
⇔ g
−1
脽
脱
C
e
η
1
脮
脮
脮
脱
C
e
η
K
脽
e
η
1
P
K
k=1
e
η
k
脮
脮
脮
e
η
K
P
K
k=1
e
η
k
腷腨腥腲腥
P
K
k=1
e
η
k
脽 C
脶脮脲 软最大脨腓腯腦腴腭腡腸脩回归 脴脳
η 脽
腬腮
p
1
p
K
脮
脮
脮
腬腮
p
K−1
p
K
脰
脽
腬腮
p
1
脱 −
P
K−1
k=1
p
k
脮
脮
脮
腬腮
p
K−1
脱 −
P
K−1
k=1
p
k
脰
⇔ g
−1
脽
e
η
1
P
K
k=1
e
η
k
脮
脮
脮
e
η
K
P
K
k=1
e
η
k
脽
e
η
1
脱 脫
P
K−1
k=1
e
η
k
脮
脮
脮
e
η
K−1
脱 脫
P
K−1
k=1
e
η
k
脱
脱 脫
P
K−1
k=1
e
η
k
6.2 软软软最最最大大大(Softmax)回回回归归归
6.2.1 软软软最最最大大大(Softmax)函函函数数数
软最大脨腓腯腦腴腭腡腸脩函数 刚好是广义线性模型脨腇腌腍脩中的多项分布的链接函
数 。刚好是对 应到其中一种链接函数 。因此，也称为软最大脨腓腯腦腴腭腡腸脩回
归。
σ脨z脩
i
脽 σ脨脨z
1
, . . . , z
i
, . . . , z
K
脩脩
i
脽
e
z
i
P
K
k=1
e
z
k
i ∈ {脱, . . . , K}
6.2.2 软软软最最最大大大(Softmax)回回回归归归的的的解解解释释释
软最大脨腓腯腦腴腭腡腸脩回归一般也称为多类逻辑回归脨腭腵腬腴腩腣腬腡腳腳 腌腒脩脬 可以看成是
适合二类问题 的逻辑回归扩展到多类问题的逻辑回归。根据前面对多项 分布
的η。本质上两个链接函数是等价的。因此我们可以基于相应不同的η来分两
种解释：
脱脮 腋脭脱个独立二元逻辑回归脺 在这种解释下，分别把前腋脭脱个类 别和第腋个 类
别进行对比。
腬腮
腐腲脨Y
i
脽 脱脩
腐腲脨Y
i
脽 K脩
脽 β
1
· X
i
腬腮
腐腲脨Y
i
脽 脲脩
腐腲脨Y
i
脽 K脩
脽 β
2
· X
i
······
腬腮
腐腲脨Y
i
脽 K −脱脩
腐腲脨Y
i
脽 K脩
脽 β
K−1
· X
i
由此推出：
脴脴 脶 从二项回归脨腂腩腮腯腭腩腡腬 腒腥腧腲腥腳腳腩腯腮脩到多项回归脨腍腵腬腴腩腮腯腭腩腮腡腬 腒腥腧腲腥腳腳腩腯腮脩
腐腲脨Y
i
脽 K脩 脽
脱
脱 脫
P
K−1
k=1
e
β
k
·X
i
腐腲脨Y
i
脽 脱脩 脽
e
β
1
·X
i
脱 脫
P
K−1
k=1
e
β
k
·X
i
腐腲脨Y
i
脽 脲脩 脽
e
β
2
·X
i
脱 脫
P
K−1
k=1
e
β
k
·X
i
······
腐腲脨Y
i
脽 K −脱脩 脽
e
β
K−1
·X
i
脱 脫
P
K−1
k=1
e
β
k
·X
i
脲脮 腌腯腧线性脨腌腯腧脭腌腩腮腥腡腲脩模型脺 在这种解释下，这腋个类别对 等看待，这样就
要引入一个归一的Z因子。由于指数里 面是一个线 性函数 ，所 以这个被称
为腌腯腧线性模型。
腐腲脨Y
i
脽 脱脩 脽
脱
Z
e
β
1
·X
i
腐腲脨Y
i
脽 脲脩 脽
脱
Z
e
β
2
·X
i
······
腐腲脨Y
i
脽 K脩 脽
脱
Z
e
β
K
·X
i
脱 脽
K
X
k=1
腐腲脨Y
i
脽 k脩 脽
K
X
k=1
脱
Z
e
β
k
·X
i
脽
脱
Z
K
X
k=1
e
β
k
·X
i
⇔
Z 脽
K
X
k=1
e
β
k
·X
i
Part V
最最最大大大熵熵熵(MaxEnt)
Chapter 7
最最最大大大熵熵熵原原原理理理和和和逻逻逻辑辑辑回回回归归归
在前面几个章节里，我们分别从广义线性模型脨腇腌腍脩和结构风险最小脨腓腒腍脩两
个方面对腌腯腧腩腳腴腩腣回归进行了推导和解释，下面我们从另一个角度腼腼熵脨腅腮腴腲腯腰腹脩来
观察腌腯腧腩腳腴腩腣回归。 最后我们会看到，腌腯腧腩腳腴腩腣回归可以 从最大熵原理直接推
导出来，或者说二者具有等价关系。
7.1 最最最大大大熵熵熵原原原理理理(Principle of Maximum Entropy)
最大熵原理是一个用于选择随机变量统计特性的原则，其主要思想是，在只
掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率
分布。
怎么理解这个原理呢？我们首先引入概率脨腐腲腯腢腡腢腩腬腩腴腩腥腳脩、熵脨腅腮腴腲腯腰腹脩、
限制条件脨腃腯腮腳腴腲腡腩腮腴腳脩 三个概念。
首先是概率。设A
i
表示状态i，A
i
发生的概率为p脨A
i
脩。假设状态的总数是
有限的，即i < 脫∞。则概率分布p脨A
i
脩满足：
p脨A
i
脩 ≥ 脰 脨脷脮脱脩
X
i
p脨A
i
脩 脽 脱 脨脷脮脲脩
接下来是熵。前面的章节有给出熵的定义：
S 脽 −
X
i
p脨A
i
脩 腬腯腧
2
p脨A
i
脩 脨脷脮脳脩
熵衡 量的是 分布p脨A
i
脩的不 确定 性脨腕腮腣腥腲腴腡腩腮腴腹脩，所谓不确定 性 可以理 解
为，对 确定 状态所需要的信息量脨腉腮腦腯腲腭腡腴腩腯腮脩的一个量化指标。从熵的定
义式脨脸脮脳脩可以看出，当各状态的概率p脨A
i
脩相等时 ，熵的值最大。在没有更
多的信息之前，腜各状态的概率相等脢这个假设是相对 合理的。可以这样理
解：降低或升高某些状态的概率就相当于引入了新 的额外的假设，而在这些
脴脷
脴脸 脷 最大熵原理和逻辑回归
众多的假设中 似乎并没有哪一个是特别合适的，因为我们不能在没有任 何信
息的情况下主观地认为某些状态的发生概率大于另外一些，而且从熵的定
义。
最后是限制条件。所 谓限制条件其实就是上 面所提到的额外的信息。限制
条件的存在会打破腜各状态发生概率相等脢的平衡，使得某些状态的概率 发生
变化。从熵的定义来看，这些额外的信息降低了我们对 分布p脨A
i
脩的不确定
性。限制条件可以有很多种形式，例如某个值的期望：假设每个状态A
i
对应
了一个值g脨A
i
脩，那么其在分布p脨A
i
脩上的期望限制为G，则
X
i
p脨A
i
脩g脨A
i
脩 脽 G 脨脷脮脴脩
现在通过以上三个概念来理解最大熵原理就直观多了：在满足限限限制制制条条条件件件
的前提下，不 引入额外的假设以免造成不确定性的下降，反映在数学上，就
是分布的熵熵熵最大，即每个状态所分配的概概概率率率尽可能平均。
可以看出，最大熵原理的求解可以转化为在限制条件下的求极值脨熵 的最
大值脩问题，可以使用拉格朗日乘数法脨腌腡腧腲腡腮腧腩腡腮脩进行求解。下面一节我们
会从最大熵原理来推导出腌腯腧腩腳腴腩腣回归。
7.2 最最最大大大熵熵熵原原原理理理与与与Logistic回回回归归归的的的等等等价价价性性性
设σ脨x 脩
v
表示x属于第v个分类的概率，假设一共有K个分类。现在我们不
对σ脨x 脩
v
的形式做任何假设，它 可以是一个任意复 杂的函数 。现在我们要根
据已知的确定的信息，列出对σ脨x脩
v
的限制条件。首先我们知道σ脨x 脩
v
是一
个概率分布，所以每个分量大于脰且求和为脱：
σ脨x 脩
v
≥ 脰 脨脷脮脵脩
K
X
v=1
σ脨x 脩
v
脽 脱 脨脷脮脶脩
还有，我们希望分布σ脨x 脩
v
满足训练集脨腔腲腡腩腮腩腮腧 腓腥腴脩中数据的要求，即σ脨x脩
v
与
训练集的数据分布一致：
n
X
i=1
σ脨x 脨i脩脩
v
x 脨i脩
j
脽
n
X
i=1
I
v
脨y脨i脩脩x 脨i脩
j
脨脷脮脷脩
其中I
u
脨y脨i脩脩为指示函数，当y脨i脩 脽 u时 值为脱，当y脨i脩 6脽 u时 值为脰。脨脸脮脷脩式
的意思是，在每一个分类u里， 任意一个特征j在属于该分类的训练数据x 脨i脩
上的求和，等于所训练的模型分配给 特征j的概 率质量脨腐腲腯腢腡腢腩腬腩腴腹 腍腡腳腳脩之
和脨x 脨i脩属于分类u的概率，在全部训练数据上求和脩。这表明σ脨x 脨i脩脩
v
是对 训
练集的指标函数I
u
脨y脨i脩脩的一个很好的近似。
σ脨x 脨i脩脩
v
的熵定义为：
脷脮脲 最大熵原理与腌腯腧腩腳腴腩腣回归的等价性 脴脹
−
K
X
v=1
n
X
i=1
σ脨x 脨i脩脩
v
腬腯腧脨σ脨x 脨i脩脩
v
脩 脨脷脮脸脩
现在我们有了概率、熵、限制条件，根据最大熵原理，我们希望在满
足脨脸脮脵脩脨脸脮脶脩脨脸脮脷脩三式时脨脸脮脸脩式取到最大值。这是一个具有限制条件的最优化
问题，可以使用拉格朗日乘数法求解：
L 脽
m
X
j=1
K
X
v=1
λ
v,j
脨
n
X
i=1
σ脨x 脨i脩脩
v
x 脨i脩
j
−
n
X
i=1
I
v
脨y脨i脩脩x 脨i脩
j
脩 脨脷脮脹脩
脫
n
X
i=1
β
i
脨
K
X
v=1
σ脨x 脩
v
− 脱脩
−
K
X
v=1
n
X
i=1
σ脨x 脨i脩脩
v
腬腯腧脨σ脨x 脨i脩脩
v
脩
在这里我们不打算讨论腌腡腧腲腡腮腧腩腡腮的对偶脨腄腵腡腬脩问题和腋腡腲腵腳腨脭腋腵腨腮脭腔腵腣腫腥腲脨腋腋腔脩条
件，脨脸脮脹脩 式中的L对σ脨x 脨i脩脩
v
求偏导得到：
∂L
∂σ脨x 脨i脩脩
v
脽 λ
v
x 脨i脩 脫 β
i
− 腬腯腧脨σ脨x 脨i脩脩
v
脩 − 脱 脨脷脮脱脰脩
令上式脨脸脮脱脰脩等于脰：
λ
v
x 脨i脩 脫 β
i
− 腬腯腧脨σ脨x 脨i脩脩
v
脩 − 脱 脽 脰 脨脷脮脱脱脩
解方程得到：
σ脨x 脨i脩脩
v
脽 e
λ
v
x (i)+β
i
−1
脨脷脮脱脲脩
根据限制条件脨脸脮脶脩，概率σ脨x 脨i脩脩
v
求和等于脱：
k
X
v=1
e
λ
v
x (i)+β
i
−1
脽 脱 脨脷脮脱脳脩
于是得到：
e
β
i
−1
脽
脱
P
k
v=1
e
λ
v
x (i)−1
脨脷脮脱脴脩
把上式中的e
β
i
−1
代入脨脸脮脱脲脩：
σ脨x 脨i脩脩 脽
e
λ
u
x (i)
P
k
v=1
e
λ
v
x (i)
脨脷脮脱脵脩
即
σ脨x 脩 脽
e
λ
u
x
P
k
v=1
e
λ
v
x
脨脷脮脱脶脩
脵脰 脷 最大熵原理和逻辑回归
脨脸脮脱脶脩式即为我们在章节脷脮脲中从广义线性模型推出来的腓腯腦腴腭腡腸回归。
7.3 Log-Linear模模模型型型
假 设 我 们 对腓腯腦腴腭腡腸函 数 的 每 个 分 量 做 线 性 扩 展 ， 那么 我 们就 得 到腌腯腧脭
腌腩腮腥腡腲模型
p脨y|x脻 w脩 脽
腥腸腰
c 脫
P
|w|
j=1
w
j
f
j
脨x, y脩
Z脨x, w脩
,
Z脨x, w脩 脽
X
y
0
∈Y
腥腸腰
c 脫
|w|
X
j=1
w
j
f
j
脨x, y
0
脩
如果写成向量的形式就变成了：
p脨y|x脻 w脩 脽
腥腸腰
w
T
f脨x, y脩
Z脨x, w脩
对比一下腓腯腦腴腭腡腸函数，我们把腓腯腦腴腭腡腸的每个输入自变量变成了线性：
v脨x, y脩 脽 w
T
f脨x, y脩 ⇒
p脨y|x脻 w脩 脽 σ脨v脨x, y脩脩
y∈Y
脽
e
v(x,y)
P
y
0
∈Y
e
v(x,y
0
)
这样，有了腌腯腧腌腩腮腥腡腲的假设，我们根据训练数据X脬 Y 脬 来优化参数w。根
据最大似然估计，我们的目标是找到腌腩腫腥腬腩腨腯腯腤 `脨w脩 对w
k
的导数形式：
`脨w脩 脽 腬腯腧 P 脨X, Y |w脩 脨脷脮脱脷脩
脽
N
X
i=1
腬腯腧 p脨x
i
, y
i
|w脩 脨脷脮脱脸脩
脽
N
X
i=1
腬腯腧 p脨y
i
|x
i
脻 w脩p脨x
i
脩 脨脷脮脱脹脩
脽
N
X
i=1
腬腯腧 p脨y
i
|x
i
脻 w脩 脫
N
X
i=1
腬腯腧 p脨x
i
脩 脨脷脮脲脰脩
∂`脨w脩
∂w
k
脽
N
X
i=1
∂ 腬腯腧 p脨y
i
|x
i
脻 w脩
∂w
k
脨脷脮脲脱脩
其中，我们省略与参数无关的
P
N
i=1
腬腯腧 p脨x
i
脩脬
脷脮脳 腌腯腧脭腌腩腮腥腡腲模型 脵脱
`脨w脩 脽
n
X
i=1
腬腯腧 p脨y
i
|x
i
脻 w脩 脨脷脮脲脲脩
对于上式求和项中的一项腬腯腧 p脨y
i
|x
i
脻 w脩有
腬腯腧 p脨y
i
|x
i
脻 w脩 脽 腬腯腧
腥腸腰脨w
T
f脨x
i
, y
i
脩脩
P
y
0
∈Y
腥腸腰脨w
T
f脨x
i
, y
0
脩脩
脨脷脮脲脳脩
脽 w
T
f脨x
i
, y
i
脩 − 腬腯腧
X
y
0
∈Y
腥腸腰脨w
T
f脨x
i
, y
0
脩脩 脨脷脮脲脴脩
上式右边第一项对w
k
求导结果比较简单：
∂
∂w
k
w
T
f脨x
i
, y
i
脩 脽
∂
∂w
k
脨
X
k
w
k
f
k
脨x
i
, y
i
脩脩 脽 f
k
脨x
i
, y
i
脩 脨脷脮脲脵脩
记g脨w脩 脽
P
y
0
∈Y
腥腸腰脨w
T
f脨x
i
, y
0
脩脩，则右边第二项为：
腬腯腧 g脨w脩 脨脷脮脲脶脩
上式对w
k
求导为
∂
∂w
k
腬腯腧 g脨w脩 脽
脱
g脨w脩
∂
∂w
k
g脨w脩 脨脷脮脲脷脩
其中
∂
∂w
k
g脨w脩 脽
X
y
0
∈Y
f
k
脨x
i
, y
0
脩 腥腸腰脨w
T
f脨x
i
, y
0
脩脩 脨脷脮脲脸脩
所以我们有
∂
∂w
k
腬腯腧 g脨w脩 脽
P
y
0
∈Y
f
k
脨x
i
, y
0
脩 腥腸腰脨w
T
f脨x
i
, y
0
脩脩
P
y
0
∈Y
腥腸腰脨w
T
f脨x
i
, y
0
脩脩
脨脷脮脲脹脩
脽
X
y
0
∈Y
f
k
脨x
i
, y
0
脩 ×
腥腸腰脨w
T
f脨x
i
, y
0
脩脩
P
y
0
∈Y
腥腸腰脨w
T
f脨x
i
, y
0
脩脩
脩 脨脷脮脳脰脩
脽
X
y
0
∈Y
f
k
脨x
i
, y
0
脩p脨y
0
|x脻 w脩 脨脷脮脳脱脩
最终，把脨脷脮脲脵脩和脨脷脮脳脱脩结合起来得到：
dL脨v脩
dv
k
脽
n
X
i=1
f
k
脨x
(i)
, y
(i)
脩脩 脽 f
k
脨x
(i)
, y
(i)
脩 −
n
X
i=1
X
y
0
∈Y
p脨y|x
(i)
脻 v脩f
k
脨x
(i)
, y脩
脨脷脮脳脲脩
Part VI
从从从熵熵熵(Entropy)解解解释释释GLM, MaxEnt,
MLE
Chapter 8
来来来自自自熵熵熵(Entropy)的的的解解解释释释
在广 义 线性 模 型中脨腇腌腍脩，我 们 提 到 了 最大 似 然估 计脨腍腡腸腩腭腵腭 腌腩腫腥腬腩脭
腨腯腯腤 腅腳腴腩腭腡腴腩腯腮脬 腍腌腅脩，和指数 函数 簇脨腅腸腰腯腮腥腴腩腡腬 腆腡腭腩腬腹脩，累计生成函
数脨腃腵腭腵腬腡腮腴 腇腥腮腥腲腡腴腩腮腧 腆腵腮腣腴腩腯腮脩，这里我们将从信息熵出发来解释这些
概念都是可以从信息熵出发推导出来的。
8.1 对对对信信信息息息熵熵熵的的的理理理解解解
香农信息熵是基于数 据分布的不确 定 性计算：假设X是来自分布X的随机样
本，那么假设P 脨x
i
脩 脽 P 脨X 脽 x
i
脩 脽 p
x
i
，那么：
H脨X脩 脽 E腛腉脨X脩腝 脽 E腛−腬腮脨腐脨X脩脩腝.
H脨X脩 脽
n
X
i=1
腐脨x
i
脩 腉脨x
i
脩 脽 −
n
X
i=1
腐脨x
i
脩 腬腯腧
2
腐脨x
i
脩,
一般来说香农信息熵的含义的解释有两种：
• 不确定 性公理化脨腁腸腩腭腡腴腩腣脩解释：上述公式是满足不确定性公理化假设的
唯一数学形式。
• 期望编码脨腃腯腤腩腮腧脩长 度解释：上述公式是对概率分布信息的 二进制编码的
期望。
8.1.1 不不不确确确定定定性性性公公公理理理化化化解解解释释释
对于分布概率的不确定性H脨X脩 ≡ H脨p
1
, . . . , p
N
脩，必须满足不确定 性公理的
四大假设：
脱脮 非负假设：H脨p
1
, . . . , p
N
脩 ≥ 脰
脵脵
脵脶 脸 来自熵脨腅腮腴腲腯腰腹脩的解释
脲脮 连续性假设：H脨p
1
, . . . , p
N
脩按全部自变量p
i
是连续的。
脳脮 单调性假设：如果所有p
i
脽 脱/N，那么H脨p
1
, . . . , p
N
脩脬 必须随着N 的增
加，而不确定性增大。
脴脮 叠加性假设：不确定性是随着概率分布生成过程来进行叠加的。
• 譬如A变量是通过X, Y, Z来生成的，X 脽 x
1
, x
2
，当x
1
满足是P 脨Y 脩，
当x
2
不满足是P 脨Z脩，那么就有如下成立脺
H脨A脩 脽 H脨X脩 脫 P 脨x
1
脩H脨Y 脩 脫 P 脨x
2
脩H脨Z脩
• 其中一种特殊情况是A 脽 X
1
, . . . , X
n
，那么
H脨A脩 脽
n
X
i=1
H脨X
i
脩
• 另外 一 种 特殊情况，有 相互独立的 两 个事件Y 脽 y
1
, . . . , y
n
和Z 脽
z
1
, . . . , z
m
：那么：
H脨Y Z脩 脽
n
X
i=1
m
X
j=1
φ脨y
i
z
j
脩 脽
n
X
i=1
φ脨y
i
脩 脫
m
X
j=1
φ脨z
j
脩 脽 H脨Y 脩 脫 H脨Z脩
脨脸脮脱脩
而满足上面四个公理条件的唯一形式是：
H脨X脩 脽 K
n
X
i=1
腐脨x
i
脩 腬腯腧
脱
腐脨x
i
脩
根据连续性假设，我们对公式脸脮脱，分别对y
k
和y
t
求导：
m
X
j=1
z
j
φ
0
脨y
k
z
j
脩 脽 φ
0
脨y
k
脩 脬
m
X
j=1
z
t
φ
0
脨y
t
z
j
脩 脽 φ
0
脨y
t
脩
m
X
j=1
z
j
腛φ
0
脨y
k
z
j
脩 − φ
0
脨y
t
z
j
脩腝 脽 φ
0
脨y
k
脩 − φ
0
脨y
t
脩
而上述表达式的右手边脨腒腩腧腨腴 腈腡腮腤 腓腩腤腥脬 腲脮腨脮腳脩是跟z
j
没有关系的。
m
X
j=1
z
j
腛φ
0
脨y
k
z
j
脩 − φ
0
脨y
t
z
j
脩 − 脨φ
0
脨y
k
脩 − φ
0
脨y
t
脩脩腝 脽 脰
对任意独立的Y 脬 Z，上述公式都成立的情况下，可以进一步推导到。
脸脮脱 对信息熵的理解 脵脷
φ
0
脨y
k
z
j
脩 − φ
0
脨y
t
z
j
脩 − 脨φ
0
脨y
k
脩 − φ
0
脨y
t
脩脩 脽 脰
φ
0
脨y
k
z
j
脩 − φ
0
脨y
t
z
j
脩 脽 φ
0
脨y
k
脩 − φ
0
脨y
t
脩
进一步，如果设定y
t
脽 脱，那么
φ
0
脨y
k
z
j
脩 − φ
0
脨y
t
z
j
脩 脽 φ
0
脨y
k
脩 − φ
0
脨y
t
脩
φ
0
脨y
k
z
j
脩 − φ
0
脨z
j
脩 脽 φ
0
脨y
k
脩 − φ
0
脨脱脩
φ
0
脨y
k
z
j
脩 脽 φ
0
脨y
k
脩 脫 φ
0
脨z
j
脩 − φ
0
脨脱脩
当然这也可以从公式脸脮脱进行证明。
φ
0
脨y
k
z
j
脩 脽 φ
0
脨y
k
脩 脫 φ
0
脨z
j
脩 − φ
0
脨脱脩
φ
0
脨y
k
z
j
脩 脽 φ
0
脨y
k
脩 脫 φ
0
脨z
j
脩
由此，我们转化成柯西函数 公式脨腃腡腵腣腨腹脧腳 腆腵腮腣腴腩腯腮 腅腱腵腡腴腩腯腮脩 的f脨x脩 脽
Ax 脫 B：
f脨x 脫 y脩 脽 f脨x脩 脫 f 脨y脩
f脨腬腯腧 y
k
脫 腬腯腧 z
j
脩 脽 f脨腬腯腧 y
k
脩 脫 f 脨腬腯腧 z
j
脩
φ
0
脨x脩 脽 f脨腬腯腧 x脩
φ
0
脨x脩 脽 K 腬腯腧 x 脫 B
φ脨x脩 脽 Kx 腬腯腧 x 脫 脨B −K脩x 脫 C
另外 根 据 不确定 性定 义 ，概率为脰 和概率为脱都是 确 定 的情况， 那 么
有φ脨脰脩 脽 脰，φ脨脱脩 脽 脰。得到C 脽 脰, B −K 脽 脰，由此，
φ脨x脩 脽 Kx 腬腯腧 x
H脨X脩 脽 φ脨P 脨X脩脩 脽 φ脨{P 脨x
1
脩, . . . , P 脨x
n
脩}脩
脽
n
X
i=1
K腐脨x
i
脩 腬腯腧
脱
腐脨x
i
脩
脽 K
n
X
i=1
腐脨x
i
脩 腬腯腧
脱
腐脨x
i
脩
固然，通过公理化的 假设可以推出信息熵的 一般形式，但是这种形式解释
起来比较困难。没有好的直观解释，用来不会这么得心应手。
脵脸 脸 来自熵脨腅腮腴腲腯腰腹脩的解释
8.1.2 期期期望望望编编编码码码长长长度度度解解解释释释
前面提到信息熵来自香农推导 出一个不确定 性的公式，在冯诺依曼大神的建
议下和热力学 玻尔兹曼的腈熵联系了起来。薛定 谔对 吉布斯 改 进后的腈熵 有
基于状态数 的解释。假设有N个状态数 ，那么每个状态的概率p
i
脽 脱/N。那
么N 脽 脱/p
i
。如果对N个状态数 进行二进制编码。前缀码脨腐腲腥脌腸 腃腯腤腥腳脩的
种类数为N，那么二进制码的长度必须要为：
Len脨p
i
脩 脽 腬腯腧 N 脽 腬腯腧
脱
p
i
假设有一组概率值{p
1
, . . . , p
n
}，那么我们要求平均编码长度：
E脨Len脨p
i
脩脩 脽
n
X
i=1
p
i
Len脨p
i
脩 脽
n
X
i=1
p
i
腬腯腧
脱
p
i
编码的长度比较直观脨腉腮腴腵腩腴腩腶腥脩，通过概率倒数 来解释成状态数 ，然后通
过编码长度来解释腬腯腧的作用。然后通信系统的不确定 性就表示成，对 于编
码来说就是要求这个通信系统的最小期望编码长度脨腍腩腮腩腭腵腭 腁腶腥腲腡腧腥 腃腯腤腥
腌腥腮腧腴腨脩。
8.1.2.1 相相相对对对熵熵熵
香农提出信息熵之后，相对熵脨腒腥腬腡腴腩腶腥 腅腮腴腲腯腰腹脬 腒腅脩被研究了很多。
RE
KL
脨P kQ脩 脽 −
X
i
P 脨i脩 腬腯腧
P 脨i脩
Q脨i脩
脽
X
i
P 脨i脩 脨腬腯腧
脱
P 脨i脩
− 腬腯腧
脱
Q脨i脩
脩
由于这个这个小于脰恒成立，而散 度定 义必须非负。所以定 义成负的相
对 熵。其实 相对 熵更直观一些，就是给定 了腑分布，想看一下腐分布情况
下，腐的编码长度减去腑的编码长度在腐分布下的期望。然后腋腌散 度是负的
相对熵。那么最大化相对熵等价于最小化腋腌散度。
8.1.2.2 KL散散散度度度
通过类似的编码距离我们就能直观的看待腋腌散 度脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲 腄腩腶腥腲脭
腧腥腮腣腥脩了。腋腌散度是负的相对熵。
脸脮脱 对信息熵的理解 脵脹
D
KL
脨P kQ脩 脽
X
i
P 脨i脩 腬腯腧
P 脨i脩
Q脨i脩
脽
X
i
P 脨i脩 脨腬腯腧
脱
Q脨i脩
− 腬腯腧
脱
P 脨i脩
脩
Fig. 8.1 腋腌散度脨腋腵腬腬腢腡腣腫脭腌腥腩腢腬腥腲 腄腩腶腥腲腧腥腮腣腥脩
给定腑的分布，我们要知道腐的分布与腑的分布的腋腌散 度，那么等价于对
于腑的编码长度减 去腐的编码长度腬腯腧
1
Q(i)
− 腬腯腧
1
P (i)
，这个长度在腐上 面的期
望。从图脸脮脱可以看到编码长度之差可能有正有负，然后按腐的概率密度积分
就是编码长度之差的期望了。
8.1.2.3 互互互信信信息息息
互信息脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脬 腍腉脩的定义如下：
I脨X脻 Y 脩 脽
X
x,y
p脨x, y脩 腬腯腧
p脨x, y脩
p脨x脩p脨y脩
脽
X
x,y
p脨x, y脩脨腬腯腧
脱
p脨x脩p脨y脩
− 腬腯腧
脱
p脨x, y脩
脩
假设腘脬 腙是独立的那么p脨x, y脩 脽 p脨x脩p脨y脩，那么互信息直观意义就是腘脬
腙是假设在独立情况 下，和真实 的非独立情况下的 编码长度的均值。我们对
这个式子进一步化解脺
脶脰 脸 来自熵脨腅腮腴腲腯腰腹脩的解释
I脨X脻 Y 脩 脽
X
x,y
p脨x, y脩 腬腯腧
p脨x, y脩
p脨x脩p脨y脩
脽
X
y
p脨y脩
X
x
p脨x|y脩 腬腯腧
p脨x|y脩
p脨x脩
脽
X
y
p脨y脩 D
KL
脨p脨x|y脩kp脨x脩脩
脽 E
Y
{D
KL
脨p脨x|y脩kp脨x脩脩}.
也可以看成是条件分布p脨x|y脩到分布p脨x脩的腋腌散度在y上的期望。
题外话，互信息还和条件熵有极大关系，可以看成是熵和条件熵之差。
I脨X脻 Y 脩 脽
X
x,y
p脨x, y脩 腬腯腧
p脨x, y脩
p脨x脩p脨y脩
脨脸脮脲脩
脽
X
x,y
p脨x, y脩 腬腯腧
p脨x, y脩
p脨x脩
−
X
x,y
p脨x, y脩 腬腯腧 p脨y脩 脨脸脮脳脩
脽
X
x,y
p脨x脩p脨y|x脩 腬腯腧 p脨y|x脩 −
X
x,y
p脨x, y脩 腬腯腧 p脨y脩 脨脸脮脴脩
脽
X
x
p脨x脩
X
y
p脨y|x脩 腬腯腧 p脨y|x脩
!
−
X
y
腬腯腧 p脨y脩
X
x
p脨x, y脩
!
脨脸脮脵脩
脽 −
X
x
p脨x脩H脨Y |X 脽 x脩 −
X
y
腬腯腧 p脨y脩p脨y脩 脨脸脮脶脩
脽 −H脨Y |X脩 脫 H脨Y 脩 脨脸脮脷脩
脽 H脨Y 脩 − H脨Y |X脩. 脨脸脮脸脩
脨脸脮脹脩
8.2 最最最大大大信信信息息息熵熵熵原原原则则则
8.2.1 最最最大大大熵熵熵解解解释释释原原原则则则的的的直直直观观观理理理解解解
埃德温脮杰恩斯腅腤腷腩腮脮腊腡腹腮腥腳提出最大熵原则后，格雷厄姆脮瓦利斯腇腲腡腨腡腭脮腗腡腬腬腩腳
根据玻尔兹曼的状态数 的解释给出一个瓦瓦瓦利利利斯斯斯 推推推导导导脨腗腡腬腬腩腳 腄腥腲腩腶腡腴腩腯腮脩。从
而来推导 出最大信息熵形式。她假设总有腎的定 额配量脨腱腵腡腮腴腡脩，假设要分
到腍个状态中去，那么每个状态中分到n
i
，那么处在那个状态的概率为
p
i
脽
n
i
N
脸脮脲 最大信息熵原则 脶脱
Fig. 8.2 互信息脨腍腵腴腵腡腬 腉腮腦腯腲腭腡腴腩腯腮脩
那么怎么配置p
i
，使得分配腎个球到腍个状态的状态数 最大。我们知道这
样腎次掷腍面骰子 的多项式分布。那么会有多少中不同的掷骰子 的状态数
呢？根据多项式组合：
W 脽
N脡
n
1
脡 n
2
脡 ··· n
m
脡
我们也知道每次掷骰子可能有腍种情况，那么总数为m
N
次，由此概率为
P 脨p脩 脽
W
m
N
那么，这个概率越大，或者说腗越大，或者说那种状态分配下，可以选择的
排列数 越多， 那么表示该种状态分配的不确定性越大，也就是熵越大。 那么
最最最大大大不不不确确确定定定 性性性就是要最最最大大大W。假设我们固定 状态数腍，让实验数N → ∞，
根据玻尔兹曼的定义形式：
脱
N
腬腯腧 W 脽
脱
N
腬腯腧
N脡
n
1
脡 n
2
脡 ··· n
m
脡
脽
脱
N
腬腯腧
N脡
脨Np
1
脩脡 脨Np
2
脩脡 ··· 脨Np
m
脩脡
脽
脱
N
腬腯腧 N脡 −
m
X
i=1
腬腯腧脨脨Np
i
脩脡脩
!
.
当腎趋于无穷大的时候，我们根据斯特林腓腴腩腲腬腩腮腧近似
腬腮 n脡 脽 n 腬腮 n − n 脫 O脨腬腮 n脩
脶脲 脸 来自熵脨腅腮腴腲腯腰腹脩的解释
腬腩腭
N→∞
脱
N
腬腯腧 W
脽
脱
N
N 腬腯腧 N − N −
m
X
i=1
脨Np
i
腬腯腧脨Np
i
脩 − N p
i
脩
!
脽 腬腯腧 N −
m
X
i=1
p
i
腬腯腧脨Np
i
脩 − N 脨脱 −
m
X
i=1
p
i
脩
脽 腬腯腧 N − 腬腯腧 N
m
X
i=1
p
i
−
m
X
i=1
p
i
腬腯腧 p
i
脽
脱 −
m
X
i=1
p
i
!
腬腯腧 N −
m
X
i=1
p
i
腬腯腧 p
i
脽 −
m
X
i=1
p
i
腬腯腧 p
i
脽 H脨p脩.
由此直观说明了最大熵原理的含义，就是找一个分布使得在这个分布上，不
确定性选择最大。
8.2.2 自自自然然然指指指数数数簇簇簇的的的最最最大大大熵熵熵解解解释释释
杰恩斯腊腡腹腮腥腳根据最大熵来解释了自然指数分布的形式，他做了三大假设：
脱脮 初始观察 分布m脨x脩：这个可以是随意的观察 情况，不一定 必须是一个分
布函数。
脲脮
P
x∈S
f脨x脩 脽 脱脬 f脨x脩 ≥ 脰：满足分布函数的情况，这里仅仅考虑离散的情
况。
脳脮
P
x∈S
t
j
脨x脩f脨x脩 脽 E{t
j
脨x脩} 脽 µ
j
，其中j ∈ J：t
j
脨x脩是在结合上的一个测
量函数，并且我们知道测量值的期望是µ
j
。
脴脮 目标：腡腲腧 腭腡腸
f(x)
RE脨f脨x脩km脨x脩脩：我们希望找一个函数 满足上述的限
制条件，并且尽可能与初始观察分布的相对熵最大。
RE脨f脨x脩km脨x脩脩 脽 −
X
x∈S
f脨x脩 腬腯腧
f脨x脩
m脨x脩
那么应用拉格朗日乘数法脺
L脨f脩 脽 −
X
x∈S
f脨x脩 腬腯腧
f脨x脩
m脨x脩
脫 λ脨
X
x∈S
f脨x脩 − 脱脩 脫
X
j∈J
θ
j
脨
X
x∈S
t
j
脨x脩f脨x脩 − µ
j
脩
那么根据求最大化，我们对f求导为零：
脸脮脲 最大信息熵原则 脶脳
脰 脽
∂L脨f脩
∂f
脽 −脨腬腯腧
f脨x脩
m脨x脩
脫 脱脩 脫 λ 脫
X
j∈J
θ
j
t
j
脨x脩
脽 −腬腯腧 f脨x脩 脫 腬腯腧 m脨x脩 − 脱 脫 λ 脫
X
j∈J
θ
j
t
j
脨x脩 ⇒
f脨x脩 脽 m脨x脩 腥腸腰腛λ − 脱 脫
X
j∈J
θ
j
t
j
脨x脩腝
这样，根据概率和为脱：
脱 脽
X
x∈S
f脨x脩 脽
X
x∈S
m脨x脩 腥腸腰{λ − 脱 脫
X
j∈J
θ
j
t
j
脨x脩}
脽 e
λ−1
X
x∈S
m脨x脩 腥腸腰{
X
j∈J
θ
j
t
j
脨x脩}
⇒
脱 − λ 脽 腬腯腧
X
x∈S
m脨x脩 腥腸腰腛
X
j∈J
θ
j
t
j
脨x脩腝
我们将上式的右边定义为，其中θ 脽 脨θ
1
, . . . , θ
|J|
脩，t脨x脩 脽 脨t
1
脨x脩, . . . , t
|J|
脨x脩脩：
b脨θ脩 脽 腬腯腧
X
x∈S
m脨x脩 腥腸腰腛
X
j∈J
θ
j
t
j
脨x脩腝
脽 腬腯腧
E脨e
t(x)
T
θ
脩
脽 脱 − λ
那么，我们对f脨x脩写成如下形式：
f脨x脩 脽 m脨x脩 腥腸腰腛−b脨θ脩 脫
X
j∈J
θ
j
t
j
脨x脩腝
脽 m脨x脩 腥腸腰腛t脨x脩
T
θ − b脨θ脩腝
从上式我们可以看到自然指数函数 的形式，其 中 b脨θ脩刚好是累积生成函数的
形式。根据最大相对 熵就是最小腋腌散 度，由此，我们可以得出自然指数 函
数形式，其实 是和初始观察分布最相似的满足对不同维度测量值的期望 固定
情况下的概率密度函数。
脶脴 脸 来自熵脨腅腮腴腲腯腰腹脩的解释
8.2.3 最最最大大大似似似然然然估估估计计计的的的最最最大大大熵熵熵解解解释释释
最大相对熵不 仅仅可以用来推导出自然指数 分布，而且可以作为最大似然估
计脨腍腡腸腩腭腵腭 腌腩腫腥腬腩腨腯腯腤 腅腳腴腡腴腩腯腮脬 腍腌腅脩 的理论基础。
假设我们观察到N个样本，那么根据样本的估算概率，或者说根据频率来
计算一个经验分布腾p脨x脩定义如下：
腾p脨x脩 脽
脱
N
N
X
n=1
δ脨x, x
n
脩
其中δ脨x, x
n
脩是狄拉克测量脨腄腩腲腡腣 腍腥腡腳腵腲腥脩，在这里是和指示函数脨腉腮腤腩腣腡腴腯腲
腆腵腮腣腴腩腯腮脩等价的。
根据大数定理我们 知道当抽样n → ∞的时 候，腾p脨x脩 → p脨x脩 如果我们利用
最大相对 熵计算根据样本的估算概率腾p脨x脩与给定参数 的条件分布p脨x|θ脩。我
们来化解最大相对熵：
RE 脨腾p脨x脩kp脨x|θ脩脩 脽 −
X
x
腾p脨x脩 腬腯腧
腾p脨x脩
p脨x|θ脩
脨脸脮脱脰脩
脽 −
X
x
腾p脨x脩 腬腯腧 腾p脨x脩 脫
X
x
腾p脨x脩 腬腯腧 p脨x|θ脩 脨脸脮脱脱脩
根据最大相对熵，我们有如下结论：
腭腡腸 RE 脨腾p脨x脩kp脨x|θ脩脩 ⇔ 腭腩腮 D
KL
脨腾p脨x脩kp脨x|θ脩脩
⇒ θ
∗
脽 腡腲腧 腭腡腸
θ
RE 脨腾p脨x脩kp脨x|θ脩脩
⇒ θ
∗
脽 腡腲腧 腭腡腸
θ
X
x
腾p脨x脩 腬腯腧 p脨x|θ脩
我们将前面对经验分布代入：
X
x
腾p脨x脩 腬腯腧 p脨x|θ脩 脽
X
x
脱
N
N
X
n=1
δ脨x, x
n
脩 腬腯腧 p脨x|θ脩
脽
脱
N
N
X
n=1
X
x
δ脨x, x
n
脩 腬腯腧 p脨x|θ脩
脽
脱
N
N
X
n=1
腬腯腧 p脨x
n
|θ脩
我们知道对数似然函数脨腌腯腧 腌腩腫腥腬腩腨腯腯腤脬 腌腌脩的表达式如下：
脸脮脲 最大信息熵原则 脶脵
`脨θ脩 脽 腬腯腧 P 脨X|θ脩 脽
N
X
n=1
腬腯腧 p脨x
n
|θ脩
结合起来我们得到：
θ
∗
脽 腡腲腧 腭腡腸
θ
RE 脨腾p脨x脩kp脨x|θ脩脩
脽 腡腲腧 腭腡腸
θ
X
x
腾p脨x脩 腬腯腧 p脨x|θ脩
脽 腡腲腧 腭腡腸
θ
脱
N
N
X
n=1
腬腯腧 p脨x
n
|θ脩
脽 腡腲腧 腭腡腸
θ
脱
N
`脨θ脩
脽 腡腲腧 腭腡腸
θ
`脨θ脩
由 此 根 据 最 大 熵 ， 我 们 可 以 得 出 最 大 似 然 估 计脨腍腌腅脩。 其 实 根 据 式
子脸脮脱脱，我们可以得到如下公式：
RE 脨腾p脨x脩kp脨x|θ脩脩 脽 −D
KL
脨腾p脨x脩kp脨x|θ脩脩 脽 H脨腾p脨x脩脩 脫
脱
N
`脨θ脩
这个表达式，在变分分析脨腖腡腲腩腡腴腩腯腮腡腬 腉腮腦腥腲腥腮腣腥脩也可能会用到来构建逼近下
限。
Part VII
Logistic PCA
Chapter 9
Logistic PCA
我们在第脲章介绍了广义线性模型，并通过广义线性模型对 线性回归进行
了拓展，使得我们可以对 满足不同分布脨指数 分布族脩的期望输出进行回归
拟合。这种利用指数 分布族 处理不同形式数 据脨连续、多类、二值等脩的思
想同样可以用于其它 场景，比如降维脨腄腩腭腥腮腳腩腯腮腡腬腩腴腹 腒腥腤腵腣腴腩腯腮脩 中的主成
分分析脨腐腲腩腮腣腩腰腡腬 腃腯腭腰腯腮腥腮腴 腁腮腡腬腹腳腩腳脬 腐腃腁脩。 我们 知道经典 的腐腃腁只能用
于连续变量，而接下来我们会利用函数分布族 对 其进行推广。这跟我们利
用腇腌腍对 只能用于期望输出是连续变量的线性回归进行推广是非常相似
的。
9.1 主主主成成成份份份分分分析析析(PCA)
设x
1
, ··· , x
n
∈ R
D
，并 假设数 据已经经过中心化脨腃腥腮腴腲腡腬腩腺腡腴腩腯腮脩即
P
i
x
i
脽
脰。腐腃腁 要解决 的问题是：在一个维度更低的空间R
d
中表示这些数据点脨d <
D脩。
下面我们分别从三个方向证明和解释腐腃腁。
9.1.1 最最最大大大方方方差差差投投投影影影
考虑把 数 据点向一个通过原点的超平面脨腈腹腰腥腲腰腬腡腮腥脩投影脨腐腲腯腪腥腣腴腩腯腮脩，设该
超平面的单位法向量为w ∈ R
D
。数据点x 向w的投影为
w
T
x 脨脹脮脱脩
则投影后的数据集方差脨腖腡腲腩腡腮腣腥脩为
脱
n
n
X
i=1
脨w
T
x
i
脩
2
脽 w
T
Sw 脨脹脮脲脩
脶脹
脷脰 脹 腌腯腧腩腳腴腩腣 腐腃腁
其中
S 脽
脱
n
X
i
x
i
x
T
i
脨脹脮脳脩
因为已经 假设所有数 据点已经过中 心化处理，所以S即为数据集的协方 差矩
阵脨Covariance Matrix 脩。
腐腃腁所做的事情是寻 找一个w使得数据集在其上的投影方 差最大，其背后
的思想是最大 程度地保留数据点之间的差异。可以看出这是一个有限制条件
的最优化问题：
腭腡腸
w
w
T
Sw 脨脹脮脴脩
s.t. kwk 脽 脱 脨脹脮脵脩
于是就可以使用拉格朗日乘数法脨Lagrangian脩进行求解
L 脽 w
T
Sw 脫 λ脨脱 − w
T
w脩 脨脹脮脶脩
L对w求偏导得到
∂L
∂w
脽 脲Sw − 脲λw 脨脹脮脷脩
令上式等于脰可得
Sw 脽 λw 脨脹脮脸脩
而上式恰好是矩阵的特征值和特征向量 的定 义式。w是协方 差矩阵S的特征
向量，而λ是其对 应的特征值。现在的问题是，哪一个特征向量w所确定 的
超平面才是我们所寻找的方差最大投影的那个超平面呢？根据脨脹脮脴脩式数 据集
投影方差为
w
T
Sw 脽 w
T
λw 脽 λ 脨脹脮脹脩
因此，最大的特征值对应的特征向量就是我们寻找的超平面w。
9.1.2 最最最小小小重重重建建建误误误差差差
现在我们从另外一个角度腼腼重建脨腒腥腣腯腮腳腴腲腵腣腴腩腯腮脩来解释腐腃腁。设任意一
组正交 基u
1
, ··· , u
D
，那么 任意一个中心化之后的数据点x
i
可以表 示成这组
正交基的线性组合
x
i
脽
D
X
j=1
α
ij
u
j
脨脹脮脱脰脩
其中
α
ij
脽 u
T
j
x
i
脨脹脮脱脱脩
既 然我们的最终目标是降低维度，那么考虑选取d个正交基上的分量进行重
建，得到原始数据点x
i
的近似：
脹脮脱 主成份分析脨腐腃腁脩 脷脱
腞
x
i
脽
d
X
j=1
α
ij
u
j
脨脹脮脱脲脩
我们希望重建出来的
腞
x
i
与原始数据点x
i
的误差脨腅腲腲腯腲脩尽可能的小：
脱
n
n
X
i=1
kx
i
−
腞
x
i
k
2
脽
脱
n
n
X
i=1
k
D
X
j=1
α
ij
u
j
−
d
X
j=1
α
ij
u
j
k
2
脨脹脮脱脳脩
脽
脱
n
n
X
i=1
k
D
X
j=d+1
α
ij
u
j
k
2
脨脹脮脱脴脩
脽
脱
n
n
X
i=1
D
X
j=d+1
α
2
ij
脨脹脮脱脵脩
脽
脱
n
n
X
i=1
D
X
j=d+1
u
T
j
x
i
x
T
i
u
j
脨脹脮脱脶脩
脽
D
X
j=d+1
u
T
j
Su
j
脨脹脮脱脷脩
其中脨脹脮脱脵脩因 为u相互正交，脨脹脮脱脶脩因为直接代入脨脹脮脱脱脩，脨脹脮脱脷脩由直接带入协
方差矩阵的定 义式脨脹脮脳脩得到。现在的问题是，如何选择那些去掉的D − d个
正交基呢？考虑d 脽 D − 脱 的情况，此时我们 需要 去掉一个维度，很容易看
出我们应该去掉协方 差矩阵S最小特征值λ
D
对应的那个特征向量w
D
，因为
在该超平面上，数据集投影的方 差w
T
D
Sw
D
脽 λ
D
最小。类似地，我们逐步
去掉特征值第脲小、第脳小脮 脮 脮 脮 脮 脮 第脨腄脭腤脩小的方向脨特征向量脩，就得到了 我们
希望的结果。
9.1.3 高高高斯斯斯随随随机机机采采采样样样
在腐腃腁的最小重建误差解释中我们的目标是重建出来的近似
腞
x
i
与原始数 据
点x
i
的误差脨腅腲腲腯腲脩尽可能的小，即
脱
n
n
X
i=1
kx
i
−
腞
x
i
k
2
脨脹脮脱脸脩
现在我们在此基础上从概率分布的角度来解释腐腃腁。每一个数 据点x
i
看作
是从一个未知的分布P
θ
i
的随机采样，其中P
θ
表示一个均值为θ ∈ R
D
的高
斯 分布。而腐腃腁的目的是找到一组对 应的参数θ
1
, ··· , θ
n
使得原始数 据的
似然脨腌腩腫腥腬腩腨腯腯腤脩最大，且这些参数都存在于一个更低维度的空间中。从这
个角度看，真实 数 据点θ
1
, ··· , θ
n
被噪声脨腎腯腩腳腥脩污染后分别成为了原始数
据点x
1
, ··· , x
n
，而腐腃腁所做的事情是在假设噪声服从高斯 分布的条件下
脷脲 脹 腌腯腧腩腳腴腩腣 腐腃腁
找到这些真实 数 据点。如果我们对 高斯 模型进行极大似然估计脨腍腌腅脩，并
将腍腌腅等价地转化为负腌腯腧似然函数脨Negative Log Likelihood, NLL脩，忽略
掉常数项之后将会得到
脱
n
n
X
i=1
kx
i
− θ
i
k
2
脨脹脮脱脹脩
上式脨脹脮脱脹脩其实就是脨脹脮脱脸脩式，二者等价。
对 于数 据点x
i
是连续变量的情况，我们可以使用经典腐腃腁，并通过上述
三种方 式进行解释。然而当数 据是二值，整 型，或者非负等时 候，高斯
假设就不再合适了。如果在这些情况下还想继续使用腐腃腁，那就要对 经
典腐腃腁算法进行推广了。
9.2 PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广
我们现在面临的问题是，在数 据x
i
是非连续变量的情况时如何进行腐腃腁。这
与本材料第二部分开头我们所面对的问题腼腼如何对 非连续的期望输出 进行
线性回归，是非常相似的。我们利用指数 分布族 ，成功地把只能用于连续
变量的线性回归推广到了可用于期望输出服从任意指数 分布的广义线性模
型脨腇腌腍脩。现在让我们对腐腃腁做同样的事情。
在开始推导之前，为了简化运算，让我们对 指数分布族进行一些限定 。
在第二部分腇腌腍中，我们用到了指数 分布族的腎腡腴腵腲腡腬 腆腯腲腭通式脨脲脮脱脩，现
在给出指数分布族 中专门针对腇腌腍的一个子 集腼腼自然指数 分布族脨Natural
Exponential Family脩。
9.2.1 自自自然然然指指指数数数分分分布布布族族族
一般地，指数分布族可以表示成如下形式：
P 脨x脻 θ脩 脽 P
0
脨x脩 腥腸腰脨η脨θ脩T 脨x脩 − G脨θ脩脩 脨脹脮脲脰脩
其中θ为参数 ，P
0
脨x脩和G脨θ脩为各自的已知函数 ，η脨θ脩T 脨x脩为参数 和变量的
函数 的乘积。而在其子 集腼腼自然指数 分布族 中，η脨θ脩和T 脨x脩皆为恒等函
数脨Identity Function脩，则自然指数分布族可以表示为
P 脨x脻 θ脩 脽 P
0
脨x脩 腥腸腰脨θx − G脨θ脩脩 脨脹脮脲脱脩
对脨脹脮脲脱脩进行一点点变换：
P 脨x脻 θ脩 脽
P
0
脨x脩e
θx
e
G(θ)
上式两边对所有的x求和
脹脮脲 腐腃腁在指数分布族上的推广 脷脳
X
x
P 脨x脻 θ脩 脽
X
x
P
0
脨x脩e
θx
e
G(θ)
脱 脽
P
x
P
0
脨x脩e
θx
e
G(θ)
e
G(θ)
脽
X
x
P
0
脨x脩e
θx
G脨θ脩 脽 腬腯腧
X
x
P
0
脨x脩e
θx
脨脹脮脲脲脩
因此可以看出，G脨θ脩的作用是保证P 脨x脻 θ脩在x域上求 和等于脱。如果还记得我
们在第二部分腇腌腍中提到过的累积量生产函数脨参见脨脲脮脵脩脩，则G脨θ脩又可以看
作是分布P
0
脨x脩的累积量生成函数。除了以上两点之外，G脨θ脩 还有一个对 于
我们推广腐腃腁最重要的性质。如果对G脨θ脩进行求导：
G
0
脨θ脩 脽
P
x
P
0
脨x脩e
θx
· x
P
x
P
0
脨x脩e
θx
脨脹脮脲脳脩
脽
P
x
P
0
脨x脩e
θx
· x
e
G(θ)
脨脹脮脲脴脩
脽
X
x
P
0
脨x脩e
θx−G(θ)
· x 脨脹脮脲脵脩
其中脨脹脮脲脳脩到脨脹脮脲脴脩是代入G脨θ脩脨脹脮脲脲脩。脨脹脮脲脵脩 表明G脨θ脩的一阶导 数 为x在分
布P 脨x脻 θ脩上的期望E脨x|θ脩。我们把G脨θ脩的一阶导数记为g脨θ脩。
在经典腐腃腁的第三个解释腜高斯 随机采样脢那一节，我们把数 据x
i
看作是
服从高斯分布 的采样，并且使用欧式距离衡量误差。同时 我们也已经指出，
之所以使用欧式距离是因为高斯 模型的腎腌腌等价于欧式距离脨参见脨脹脮脱脹脩脩。
上一个小节里我们已经把高斯 分布推广到了自然指数 分布族 ，那么对 应
的误差衡量也将不再是欧式距离，误差衡量同样需要推广。所以在介绍
广义腐腃腁之前，我们还需要介绍另外一个概念腼腼腂腲腥腧腭腡腮散 度脨Bregman
Divergence脩。
9.2.2 Bregman散散散度度度
首先直接给出腂腲腥腧腭腡腮散度的定义。
令F 脺 ∆ → R是 一个定 义在完 备的脨腃腬腯腳腥腤脩凸脨腃腯腮腶腥腸脩集∆ ∈ R 上的可
导脨腄腩脋腥腲腥腮腴腩腡腢腬腥脩且严格凸脨腓腴腲腩腣腴腬腹 腃腯腮腶腥腸脩的 函数。则F 函数 的腂腲腥腧腭腡腮散
度定义为：
B
F
脨pkq脩 脽 F 脨p脩 − F 脨q脩 − f 脨q脩脨p − q脩 脨脹脮脲脶脩
其中p, q ∈ ∆，f脨x脩 脽 F
0
脨x脩为F 函数 的一阶导 。如何直观地理解脨脹脮脲脶脩 式
呢？对函数F 脨p脩在q点进行泰勒展开就清楚了：
脷脴 脹 腌腯腧腩腳腴腩腣 腐腃腁
F 脨p脩 脽
F 脨q脩
脰脡
脫
F
0
脨q脩
脱脡
脨p − q脩 脫 R
n
脨p脩 脨脹脮脲脷脩
R
n
脨p脩 脽 F 脨p脩 − F 脨q脩 − f脨q脩脨p − q脩 脨脹脮脲脸脩
由脨脹脮脲脸脩式可以看出，Bregman散散散度度度就就就是是是函函函数数数F 脨p脩在在在q点点点进进进行行行一一一阶阶阶泰泰泰勒勒勒展展展开开开
的的的余余余项项项R
n
脨p脩，，，即即即函函函数数数F 脨p脩与与与该该该函函函数数数 自自自己己己的的的线线线性性性近近近似似似(一一一阶阶阶泰泰泰勒勒勒展展展开开开)之之之间间间
的的的差差差。
不同的函数 具有不同的腂腲腥腧腭腡腮散 度。例如当F脨x脩 脽 kxk
2
时 ，其对 应
的腂腲腥腧腭腡腮散度为B
F
脨xky脩 脽 kx −yk
2
欧式距离；而当F 脨p脩 脽
P
i
p
i
腬腯腧 p
i
负
的熵时 ，其对 应的腂腲腥腧腭腡腮散 度为B
F
脨pkq脩 脽
P
i
p
i
腬腯腧
p
i
q
i
即腋腌散 度脨KL-
Divergence脩。
现在我们有了自然指数 分布族 及每一个分布对 应的误差衡量脨腂腲腥腧腭腡腮散
度脩，可以进行腐腃腁在指数分布族上的推导了。
9.2.3 PCA在在在指指指数数数分分分布布布族族族上上上的的的推推推广广广(PCA for the
Exponential Family)
到这里，最后要解决的问题是：给定 一组数 据x
1
, ··· , x
n
和某个指数 族 分
布P 脨x脻 θ脩，找到一组参数θ
1
, ··· , θ
n
，使得数据集的似然函数脨腌腩腫腥腬腩腨腯腯腤脩最
大，即
Θ 脽 腡腲腧 腭腡腸
Θ
L脨P, x, Θ脩 脨脹脮脲脹脩
脽 腡腲腧 腭腡腸
Θ
Y
i
P 脨x
i
脻 θ
i
脩 脨脹脮脳脰脩
对于P 脨x 脻 θ脩，取腬腯腧可得
腬腯腧 P 脨x 脻 θ脩 脽 腬腯腧 P
0
脨x 脩 脫 x θ − G脨θ脩 脨脹脮脳脱脩
此处我们需要新定义一个函数：令g脨θ脩 脽 µ，那么定义G脨θ脩 的对偶脨腄腵腡腬脩函
数F 脨µ脩为
F 脨µ脩 脽 θµ − G脨θ脩 脨脹脮脳脲脩
于是有：
F 脨x 脩 − B
F
脨x kµ脩 脽 F 脨x 脩 − 腛F 脨x 脩 − F 脨µ脩 − F
0
脨µ脩脨x − µ脩腝 脨脹脮脳脳脩
脽 F 脨µ脩 脫 θ脨x − µ脩 脨脹脮脳脴脩
脽 x θ 脫 F 脨µ脩 − θµ 脨脹脮脳脵脩
脽 x θ − G脨θ脩 脨脹脮脳脶脩
其中脨脹脮脳脳脩到脨脹脮脳脴脩是因为F
0
脨µ脩 脽 θ脨F 脨µ脩对µ求导脩，脨脹脮脳脵脩到脨脹脮脳脶脩是代入F 脨µ脩
的定义脨脹脮脳脲脩式。
脹脮脲 腐腃腁在指数分布族上的推广 脷脵
把x θ − G脨θ脩 脽 F 脨x 脩 − B
F
脨x kµ脩 代入脨脹脮脳脱脩得到
腬腯腧 P 脨x 脻 θ脩 脽 腬腯腧 P
0
脨x 脩 脫 F 脨x 脩 − B
F
脨x kµ脩 脨脹脮脳脷脩
于是在Θ的腎腌腌脨脨脹脮脳脰脩取负的腬腯腧脩中代入脨脹脮脳脷脩 得到
L脨Θ脩 脽 −
X
i
X
j
腬腯腧 P 脨x
ij
脻 θ
ij
脩 脨脹脮脳脸脩
脽 C脨x 脩 脫
X
i
X
j
B
F
脨x
ij
kg脨θ
ij
脩脩 脨脹脮脳脹脩
脽 C脨x 脩 脫 B
F
脨x kg脨Θ脩脩 脨脹脮脴脰脩
到此，我们的目标函数为
Θ
pca
脽 腡腲腧 腭腩腮
Θ
B
F
脨x kg脨Θ脩脩 脨脹脮脴脱脩
不要忘记，我们的目标是降维。所以最终的问题是，希望找到θ
i
，其
尽可能的接近x
i
，且存 在于一个更低维度的空间中。根据本章开始部分
介绍的第二种腐腃腁解 释腜最小重构误差脢的思想脨参见脨脹脮脱脲脩脩，降维的方 法
是找到一组基v
1
, . . . , v
d
∈ R
D
，并将每一个θ
i
表示称为这组集的线性组
合θ
i
脽
P
k
a
ik
v
k
，且最接近x
i
。
令X表示n × D的矩阵，其行向量为x
i
；令V 表示d × D的矩阵，其行
向量为v
k
；令A表示n × d的矩阵，其每一个分量为a
ik
。则Θ 脽 AV是一
个n × D的矩阵，其第i行为θ
i
。Θ的每一个 分量θ
ij
与X 的每一个分量x
ij
一
一对 应，θ
ij
定 义 了 x
ij
的概 率。在把Θ矩阵分解成A和V两个矩阵的乘积 之
后，脨脹脮脳脸脩 便表示为
L脨V, A脩 脽 −腬腯腧 P 脨X脻 A, V脩 脨脹脮脴脲脩
脽 −
X
i
X
j
腬腯腧 P 脨x
ij
脻 θ
ij
脩 脨脹脮脴脳脩
脽 C脨x 脩 脫
X
i
X
j
脨−x
ij
脫 G脨θ
ij
脩脩 脨脹脮脴脴脩
去掉与θ无关的常数项C脨x脩并写成腂腲腥腧腭腡腮散度脨代入脨脹脮脳脶脩脩的形式得到
L脨V, A脩 脽
X
i
X
j
B
F
脨x
ij
kg脨θ
ij
脩脩 脨脹脮脴脵脩
使用类似腃腯腯腲腤腩腮腡腴腥 腄腥腳腣腥腮腴的思想，固定A求V，之 后固定V求A，不 断 迭
代，最终求得A和V。
最后我们再来简单的总结一下：原始数 据为x
i
，我们认为x
i
服从某个
参数 未知但形式已知的指数 族 分布P脨x 脻 θ脩，该指数 族 分布对 应一个具体
的腂腲腥腧腭腡腮散 度B
F
脨pkq脩；通过腂腲腥腧腭腡腮散 度便可以对 原始数 据做腂腲腥腧腭腡腮
脷脶 脹 腌腯腧腩腳腴腩腣 腐腃腁
投影脨Bregman Projection脩，x
i
的腂腲腥腧腭腡腮投影为g脨θ
i
脩；在投影之前，我们
把θ
i
表 示 成 一 个 更 低 维 度 空 间 的 基v
1
, . . . , v
l
的 线 性 组 合 ， 其 组 合 系 数
为a
i,1
, . . . , a
i,l
，即θ
i
脽
P
l
k=1
a
ik
v
k
；最终的目标是找到A和V，使得x
i
与
其腂腲腥腧腭腡腮投影的腂腲腥腧腭腡腮散度最小，即：
脨V, A脩 脽 腡腲腧 腭腩腮
V,A
n
X
i=1
B
F
脨x
i
kg脨
l
X
k=1
a
i,k
v
k
脩脩 脨脹脮脴脶脩
从V的角度看，指数 分布族 上的腐腃腁是在一个低维空间里寻 找一组基脨矩
阵V脩，该组基定义 了一个尽可能接近原始数据x
i
的面脨腓腵腲腦腡腣腥脩。设由 基V定
义的面为S脨V脩 脽 {g脨aV脩|a ∈ R
l
}，则我们寻找的V为：
V 脽 腡腲腧 腭腩腮
V
X
i
腭腩腮
q∈S(V)
B
F
脨x
i
kq脩 脨脹脮脴脷脩
Appendix
Appendix A
Logisitic回回回归归归
A.1 Sigmoid函函函数数数, Logistic函函函数数数和和和Logit函函函数数数
A.1.1 Sigmoid函函函数数数
腓腩腧腭腯腩腤函 数 又 称 为S函 数 ， 是 一 种 最 常 用 的 激 发 函 数脨腁腣腴腩腶腡腴腩腯腮 腦腵腮腣脭
腴腩腯腮脩。其他常见 的激发函数包括阶跃函数脨腓腴腥腰 腆腵腮腣腴腩腯腮脩，腔腡腮腈函数 ，修
正线性单元脨腒腥腣腴腩脌腥腤 腌腩腮腥腡腲 腕腮腩腴脬 腒腥腌腕脩。而腓腩腧腭腯腩腤函数 应用之广，又被
称为软阶跃函数脨腓腯腦腴 腓腴腥腰 腆腵腮腣腴腩腯腮脩
S脨t脩 脽
脱
脱 脫 e
−t
.
它一个很大优点是连 续可导，并且导数形式非常好，可以用它本身的二次
函数来表示。
S
0
脨t脩 脽 S脨t脩脨脱 − S脨t脩脩.
A.1.2 Logistic函函函数数数
逻辑函数脨腌腯腧腩腳腴腩腣 腆腵腮腣腴腩腯腮脩，有称为逻辑曲线值域腛脰, L腝上，k为陡度脨腓腴腥腥腰腮腥腳腳脩，
以x
0
为中值点脨腍腩腤腰腯腩腮腴脩 的S脨腓腩腧腭腯腩腤脩曲线。所以直观上来说，逻辑函数
是腓腩腧腭腯腩腤函数在值域，陡度和中值点上的一个更为一般的形式。
f脨x脩 脽
L
脱 脫 腥
−k(x−x
0
)
而把k 脽 脱, x
0
脽 脰, L 脽 脱的逻辑函数 称为标 准逻辑函数 。所以标准逻辑函
数脨腓腴腡腮腤腡腲腤 腌腯腧腩腳腴腩腣 腆腵腮腣腴腩腯腮脩就是腓腩腧腭腯腩腤函数。
脷脹
脸脰 腁 腌腯腧腩腳腩腴腩腣回归
A.1.3 Logit函函函数数数
腌腯腧腩腴函数 是对 数 赔率脨腌腯腧脭腯腤腤腳脩脬 是赔率脨腯腤腤腳脩的自然对 数脨腎腡腴腵腲腡腬 腌腯腧腡脭
腲腩腴腨腭脩形式。直观看上去和逻辑函数没有联系。
腬腯腧腩腴脨p脩 脽 腬腯腧
p
脱 − p
脽 腬腯腧脨p脩 − 腬腯腧脨脱 − p脩 脽 −腬腯腧
脱
p
− 脱
.
但是，其实他们关系非常，腌腯腧腩腴函数的反函数就是标准腌腯腧腩腳腴腩腣函数。
腬腯腧腩腳腴腩腣脨α脩 脽 腬腯腧腩腴
−1
脨α脩 脽
脱
脱 脫 腥腸腰脨−α脩
在之后一章，我们还会通过腌腯腧腩腴函数来解释腌腯腧腩腳腴腩腣回归的由来。
Appendix B
广广广义义义线线线性性性模模模型型型
B.1 指指指数数数函函函数数数簇簇簇补补补充充充
前面我们提到了的概 率分布的指数函数簇脨腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬 腅腆脩是指自然
形式脨腎腡腴腵腲腡腬 腆腯腲腭脬 腎腆脩 或者自然指数函数簇脨腎腡腴腵腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬
腎腅腆脩。还有没有其他形式的描述呢？其实还有更为一般化的形式脨腇腥腮腥腲腡腬
腆腯腲腭脬 腇腆脩，和均值自然形式脨腍腥腡腮 腖腡腬腵腥 腎腡腴腵腲腡腬 腆腯腲腭脬 腍腖腎腆脩。这里稍
微补充一下他们之间的关系。
B.1.1 一一一般般般指指指数数数函函函数数数簇簇簇(GEF)
一般指数函数簇脨腇腥腮腥腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬 腇腅腆脩脬
p脨y脻 θ脩 脽 腥腸腰腛d脨θ脩e脨y脩 脫 g脨θ脩 脫 h脨y脩腝
在一般形式里面，所有的参数表达式都放在指数函数中，包括三部分
脱脮 自变量y的函数部分h脨y脩
脲脮 参数θ的函数部分g脨θ脩
脳脮 自变量y与参数θ的函数的乘积d脨θ脩e脨y脩
B.1.2 自自自然然然指指指数数数函函函数数数簇簇簇(NEF)
自然指数函数簇脨腎腡腴腵腲腡腬 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬 腎腅腆脩在前面我们提过：
p脨y脻 θ, φ脩 脽 腥腸腰腛
yθ − b脨θ脩
a脨φ脩
脫 c脨y, φ脩腝
脸脱
脸脲 腂 广义线性模型
这种形式又称为分散指数函数簇脨腄腩腳腰腥腲腳腩腯腮 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬 腄腅腆脩：
脱脮 累积生成函数脨腃腵腭腵腬腡腮腴 腇腥腮腥腲腡腴腩腮腧 腆腵腮腣腴腩腯腮脩 b脨θ脩
脲脮 标准参数脨腃腡腮腯腮腩腣腡腬 腐腡腲腡腭腥腴腥腲脩 θ
脳脮 分散参数脨腄腩腳腰腥腲腳腩腯腮 腐腡腲腡腭腥腴腥腲脩 φ
分散指数函数也可以写成λ的形式脬 λ就称为精确参数脨腐腲腥腣腩腳腩腯腮 腐腡腲腡腭腥腴腥腲脩：
另
λ 脽
脱
a脨φ脩
⇒ p脨y脻 θ, λ脩 脽 腥腸腰腛λ{yθ − b脨θ脩} 脫 c脨y, λ脩腝
自然指数函数簇具有一些特征前面我们也提到了脺
脱脮 均值脺 µ ≡ E腛Y 腝 脽 b
0
脨θ脩
脲脮 方差脺 V ar腛Y 腝 脽 b
00
脨θ脩φ 脽 V ar脨µ脩φ
脳脮 标准链接函数：g脨x脩函数满足θ ≡ g脨µ脩
B.1.3 均均均值值值自自自然然然指指指数数数函函函数数数簇簇簇(MVNF)
均值 自然指数函数簇脨腍腥腡腮 腖腡腬腵腥 腅腸腰腯腮腥腮腴腩腡腬 腆腡腭腩腬腹脬 腍腖腅腆脩脬 我们把标准
参数脨θ脩 换成数学期望µ的函数µ 脽 τ 脨θ脩 那么θ 脽 τ
−1
脨µ脩并且τ
−1
脨x脩 脽 g脨x脩脺
p脨y脻 µ, φ脩 脽 腥腸腰腛
τ
−1
脨µ脩y − b脨τ
−1
脨µ脩脩
a脨φ脩
脫 c脨y, φ脩腝
Appendix C
来来来自自自熵熵熵(Entropy)的的的解解解释释释
C.1 信信信息息息熵熵熵的的的由由由来来来
鲁道夫脮克劳修斯腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳，这位来自科沙林的大神，学 文 学 出生，
从能量守 恒中重新 认识少年天才尼古拉脮卡诺腎腩腣腯腬腡腳脮腃腡腲腮腯腴的卡诺热机和
循环的卡诺原理，建立热力学 第二定 律，命名了熵腅腮腴腲腯腰腹。法国天才卡
诺，脳脶岁就霍乱而死，匠人，写下《论火的动力》，成为热力学之父！ 死前
孤 独凄凉，著作无 人问津。克劳修斯 把熵记成腓，是卡诺的中间名腓腡腤腩。克
劳修斯，脱脵年研究，出了一篇论文，修神功成！
Fig. C.1 尼古拉脮卡诺腎腩腣腯腬腡腳脮腃腡腲腮腯腴
约西亚脮吉布斯腊腯腳腩腡腨脮腇腩腢腢腳，全才，出生耶鲁的他，把统计引入 热力学 。
在克劳修斯基 础上，提出能量变化的计算。统计热力学的另外两位剑客 ，詹
姆斯脮麦克斯 韦腊腡腭腥腳脮腍腡腸腷腥腬腬和路德维希脮波尔兹曼腌腵腤腷腩腧脮腂腯腬腴腺腭腡腮，一个
师出剑桥，一个师出维也纳大学。
波尔兹曼第一次定义 熵为乱序的统计。并且 引入对数形式。吉布斯 对 此进
行改进，成为统计热力学的基石。并且标记熵为腈函数。
脸脳
脸脴 腃 来自熵脨腅腮腴腲腯腰腹脩的解释
Fig. C.2 鲁道夫脮克劳修斯腒腵腤腯腬腦脮腃腬腡腵腳腩腵腳
Fig. C.3 约西亚脮吉布斯腊腯腳腩腡腨脮腇腩腢腢腳
Fig. C.4 艾尔文脮薛定谔腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲
艾尔文脮薛定谔腅腲腷腩腮脮腓腣腨腲腯腤腩腮腧腥腲，同样出生维也纳大学 ，量子 力学 奠基
人（量子力学 量力学）第一次把概率倒数解释称状态数量，这样对数形式就
可以解释成编码长度。并且引入了负号。
年轻的克劳德脮香农腃腬腡腵腤腥脮腓腨腡腮腮腯腮，密 西根大学 的天才，将薛定谔的解
释正式引入信号处理中，定义为信息损失。从此建立了信息熵，开创了信息
理论。在和计算机之神约 翰脮冯脮诺伊曼腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮，来自苏黎世联邦
理工大学的少 年天才，讨论后正式把信息熵定义成不确信的测度。并且 给出
了腈函数的定义。
腃脮脱 信息熵的由来 脸脵
Fig. C.5 克劳德脮香农腃腬腡腵腤腥脮腓腨腡腮腮腯腮
Fig. C.6 约翰脮冯脮诺伊曼腊腯腨腮脮腶腯腮脮腎腥腵腭腡腮腮
Fig. C.7 埃德温脮杰恩斯腅腤腷腩腮脮腊腡腹腮腥腳
埃德温脮杰恩斯腅腤腷腩腮脮 腔脮 腊腡腹腮腥腳脬 普林斯 顿的杰出统计学 家，开创性的通
过逻辑来解释 统计，通过最大熵来解释统计，由此开创了统计分析的贝 叶斯
学派。
至此，熵一发而不可收拾的成为诸多信息处理理论基石！
